適応型グループオブピクチャ（ａｇｏｐ）構造の決定

专利摘要:
この開示は、映像シーケンスに含まれる複数のフレームの各々に関するピクチャタイプを前記フレーム間における相互相関に基づいて決定するための技法を対象とする。前記相互相関は、前記映像シーケンスに含まれるフレームの対内の画像情報間における１次相互相関と、前記１次相互相関の対間における２次相互相関と、を含む。前記１次相互相関は、解析して前記フレーム間における映像遷移効果を検出することができる。前記１次及び２次相互相関は、比較解析して前記フレーム間における時間的類似性を決定することができる。従って、前記相関に基づく決定技法は、前記映像遷移効果及び前記時間的類似性に基づいて前記フレームに関するピクチャタイプを決定する。前記相関に基づく決定技法は、フレームの対内の画像間における、又はフレームの対内の部分画像の組間における前記１次相互相関を計算し、次に、フレームの前記対の各々に関して前記部分画像における平均が求められる。
公开号:JP2011507461A
申请号:JP2010539756
申请日:2008-12-17
公开日:2011-03-03
发明作者:オグズ、セイフラー・ハリット；スワジー、スコット・ティー．；ロハギ、アミット
申请人:クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ；
IPC主号:H04N7-32

专利说明:

[0001] 本発明は、映像データのコーディングに関するものである。本発明は、より具体的には、映像データのグループオブピクチャ（ＧＯＰ）構造を好適に決定することに関するものである。]
背景技術

[0002] デジタル映像シーケンスをコーディングするための幾つかの異なる映像コーディング規格が確立されている。例えば、ムービング・ピクチャ・エキスパーツ・グループ（ＭＰＥＧ）では、ＭＰＥＧ−１（Ｐａｒｔ１）と、ＭＰＥＧ−２（Ｐａｒｔ２）と、ＭＰＥＧ−４（Ｐａｒｔ２）と、を含む幾つかの規格を確立している。その他の例は、国際電気通信連合（ＩＴＵ−Ｔ）Ｈ．２６１及びＨ．２６３規格と、ＩＴＵ−Ｔ Ｈ．２６４規格と、を含み、ＩＴＵ−Ｔ Ｈ．２６４規格は、ＭＰＥＧ−４、Ｐａｒｔ１０においても、“アドバンストビデオコーディング、ＡＶＣ”として設定されている。これらの映像コーディング規格は、概して、データを圧縮された形でコーディングすることによって映像シーケンスの向上された送信効率及び格納効率をサポートする。圧縮は、映像フレームの有効な送信又は格納のために送信又は格納する必要がある全体的なデータ量を低減させる。映像コーディングは、有線及び無線の両方の送信媒体における及び磁気記憶媒体及び光学記憶媒体の両方における、映像ストリーミングと、ビデオカムコーダと、パーソナルビデオレコーダ（ＰＶＲ）と、デジタルビデオレコーダ（ＤＶＲ）と、ビデオテレフォニ（ＶＴ）と、テレビ会議と、ビデオＣＤ（ＶＣＤ）及びデジタルバーサタイル／ビデオディスク（ＤＶＤ）におけるデジタルビデオ配信と、映像ブロードキャスト用途と、を含む数多くの状況において用いられる。]
[0003] ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ Ｈ．２６１、ＩＴＵ−Ｔ Ｈ．２６３、及びＩＴＵ−Ｔ Ｈ．２６４の各規格は、時間相関又はフレーム間相関と呼ばれる連続する映像フレーム間における類似性を利用してフレーム間圧縮を提供する映像コーディング技法をサポートする。これらの規格は、空間相関又はフレーム内相関と呼ばれる個々の映像フレーム内における類似性を利用してフレーム内圧縮を提供する映像コーディング技法もサポートする。フレーム間圧縮技法は、映像フレームのピクセルに基づく表現をピクセルブロックに基づく並進動きの表現に変換することによって隣接するか又は密接する映像フレーム間でのデータ冗長性を利用する。フレーム間技法を用いてコーディングされた映像フレームは、Ｐ（“予測”）フレーム又はＢ（“双方向予測”）フレームとしばしば呼ばれる。幾つかのフレームは、Ｉ（“イントラ”）フレームと共通して呼ばれ、空間圧縮を用いてコーディングされ、非予測的（すなわち、Ｈ．２６４以前の規格におけるように変換コーディングのみに基づく）又は予測的（すなわち、Ｈ．２６４におけるように空間予測及び変換コーディングの両方に基づく）であることができる。さらに、幾つかのフレームは、フレーム内コーディングされたブロックとフレーム間コーディングされたブロックの両方の組み合わせを含むことができる。これらの符号化規格は、無線映像ブロードキャスティング用途に非常に適する高効率のコーディングを提供する。]
[0004] 上述される効率的な符号化規格のうちのいずれかを用いて符号化を実行する前に、コーディングデバイスは、受信された映像シーケンスを複数のフレームを含むグループオブピクチャ（ＧＯＰ）構造に分割することができる。これで、コーディングデバイスは、映像データを送信又は格納のために符号化する前にＧＯＰ構造内に含まれるフレームの各々に関するピクチャコーディングタイプを決定することができる。ピクチャコーディングタイプを有するＧＯＰ構造の決定は、コーディング効率のために重要である。従って、ＧＯＰ構造の決定は、以前に圧縮されていない生の映像データを対象とする符号化方式のみにとって有益であるわけではない。以前に圧縮された映像データを対象とするトランスコーディング方式にとっても有益であることができる。例えば、無線映像ブロードキャスティングのために望まれる幾つかの映像データ、例えばデジタルテレビ信号、は、原形の状態で、現在において最も効率的な圧縮を提供しないＭＰＥＧ２（Ｐａｒｔ２）等の映像符号化規格を用いてコーディングされる。この場合は、トランスコーダは、映像データを、無線映像ブロードキャスティングのためにより効率的な圧縮を提供する符号化規格、例えばＩＴＵ−Ｔ Ｈ．２６４、に変換することができる。映像データを変換するために、トランスコーダは、最初に、第１の符号化規格からの映像データを復号することができ、次に、無線映像ブロードキャスティングにとってより望ましい第２の符号化規格を用いて映像データを再符号化する前に映像シーケンスをＧＯＰ構造に分割してＧＯＰ構造決定を行うことができる。]
[0005] 映像信号は、その統計上の性質を経時で変化させるため、コーディングデバイスは、最も効率的圧縮を目的として利用可能な時間的冗長性を最大限に利用するようにＧＯＰ構造を好適化すべきである。概して、コーディングデバイスは、周囲のフレームの内容及び映像遷移効果（ｖｉｄｅｏ ｔｒａｎｓｉｔｉｏｎａｌ ｅｆｆｅｃｔ）、例えば、カットシーンの変化、フラッシュフレーム、クロスフェード、及びカメラのパンとスクロール、等の識別に基づいてＧＯＰ構造内の候補フレームに関するピクチャコーディングタイプを好適に決定する。既存の適応型ＧＯＰ（ＡＧＯＰ）構造決定方法は、ヒストグラム又は分散評価基準、エッジ決定に基づくアルゴリズム、及び動きベクトルフィールド展開（ｅｖｏｌｕｔｉｏｎ）又は時間的予測効率メトリックに基づくアルゴリズムを用いたルミナンス信号及びクロミナンス信号の両方の信号の統計的特徴の解析を含む。しかしながら、既存のＡＧＯＰ構造決定方法は、ますます複雑化する無線映像ブロードキャストティング用途のために要求される効率的圧縮を達成させる上で十分に正確でないことがある。]
[0006] 概して、この開示は、映像シーケンスに含まれる複数のフレームの各々に関するピクチャコーディングタイプを前記フレーム間における相互相関に基づいて決定するための技法を対象とする。より具体的には、前記技法は、グループオブピクチャ（ＧＯＰ）構造内に含まれるフレームに関するピクチャタイプを前記フレーム間における相互相関に基づいて好適に決定することができる。前記相互相関は、前記映像シーケンスに含まれるフレームの対内の画像情報間における１次（ｆｉｒｓｔ ｏｒｄｅｒ）相互相関と、前記１次相互相関の対間における２次（ｓｅｃｏｎｄ ｏｒｄｅｒ）相互相関と、を含む。前記１次相互相関は、解析して前記フレーム間における映像遷移効果を検出することができる。前記１次相互相関及び２次相互相関は、比較解析して隣接フレーム間における時間的類似性を決定することができる。従って、前記相関に基づく決定技法は、前記映像遷移効果及び前記時間的類似性に基づいて前記フレームに関するピクチャタイプをＰ（“予測”）ピクチャ、Ｂ（“双方向予測”）ピクチャ、又はＩ（“イントラ”）ピクチャのいずれかとして決定する。]
[0007] 一態様において、画像相関に基づく決定技法は、前記映像シーケンスに含まれるフレームの対内の画像間における前記１次相互相関を計算する。前記画像相関に基づく決定技法は、フルフレームに関するピクチャタイプを決定することができる。他の態様においては、部分画像相関に基づく決定技法は、前記映像シーケンスに含まれるフレームの対内の部分画像（ｓｕｂｉｍａｇｅ）、例えばマクロブロック、の組間における前記１次相互相関を計算し、フレームの前記対の各々に関する前記部分画像全部又はその一部における前記相互相関の平均を求める。さらに、前記映像シーケンスに含まれる前記フレームの各々は、複数のスライスに分割することができ、このため、前記部分画像相関に基づく決定技法は、前記フレームの各々のフレームの前記個々のスライスに関するピクチャタイプを決定することができる。]
[0008] ここにおいて説明される技法は、リアルタイム又は非リアルタイムのコーディングデバイスによって利用される相関に基づく適応型グループオブピクチャ（ＡＧＯＰ）構造決定モジュール内において実行することができる。幾つかの態様において、前記相関に基づくＡＧＯＰ構造決定モジュールは、リアルタイムコーディングデバイスに実装されたその他のＡＧＯＰ構造決定方法を比較することができる基準となるオフラインのベンチマークとして用いることができる。その他の態様においては、前記相関に基づくＡＧＯＰ構造決定モジュールは、リアルタイム又は非リアルタイムのコーディングデバイスに実装することができる。リアルタイムコーディングデバイスの場合は、前記相関に基づくＡＧＯＰ構造決定モジュールは、リアルタイムでのピクチャタイプの決定を可能にするための該当する複雑さ低減を伴って実装することができる。]
[0009] 一例として、前記相関に基づくＡＧＯＰ構造決定モジュールは、以前に圧縮された映像データを再符号化するためにリアルタイム又は非リアルタイムのトランスコーダによって利用することができる。前記トランスコーダは、効率的なフレーム間圧縮及びフレーム内圧縮を提供する符号化規格、例えばＩＴＵ−Ｔ Ｈ．２６４、を用いて前記映像データを再符号化することができる。これらの技法は、高効率のデータ圧縮を要求する無線映像ブロードキャスティング用途に特に有用であることができる。他の例として、前記相関に基づくＡＧＯＰ構造決定モジュールは、以前に圧縮されていない生の映像データを対象とするリアルタイム又は非リアルタイムの、単パス又は複数パスの映像符号器によって利用することができる。]
[0010] 一態様において、この開示は、映像シーケンスに含まれるフレームの対内の画像情報間における１次相互相関を計算することと、前記１次相互相関の対間における２次相互相関を計算すること、とを備える方法を提供する。前記方法は、前記１次相互相関及び２次相互相関に基づいて前記映像シーケンスに含まれる前記フレームの各々に関するピクチャタイプを決定することをさらに備える。]
[0011] 他の態様においては、この開示は、映像シーケンスに含まれるフレームの対内の画像情報間における１次相互相関を計算し、及び前記１次相互相関の対間における２次相互相関を計算する相関器を備えるデバイスを提供する。前記デバイスは、前記１次相互相関及び２次相互相関に基づいて前記映像シーケンスに含まれる前記フレームの各々に関するピクチャタイプを決定するピクチャタイプ決定モジュールも含む。]
[0012] 他の態様においては、この開示は、命令を備えるコンピュータによって読み取り可能な媒体を備えるコンピュータプログラム製品を提供する。前記命令は、映像シーケンスに含まれるフレームの対内の画像情報間における１次相互相関を計算し、前記１次相互相関の対間における２次相互相関を計算し、及び前記１次相互相関及び２次相互相関に基づいて前記映像シーケンスに含まれる前記フレームの各々に関するピクチャタイプを決定することをコンピュータに行わせる。]
[0013] さらなる態様においては、この開示は、映像シーケンスに含まれるフレームの対内の画像情報間における１次相互相関及び前記１次相互相関の対間における２次相互相関を計算するための手段を備えるデバイスを提供する。前記デバイスは、前記１次相互相関及び２次相互相関に基づいて前記映像シーケンスに含まれる前記フレームの各々に関するピクチャタイプを決定するための手段も備える。]
[0014] 他の態様においては、この開示は、映像シーケンスに含まれるフレームの対内の画像情報間における１次相互相関を計算し、及び前記１次相互相関の対間における２次相互相関を計算する相関器を備える無線通信デバイスハンドセットを提供する。前記ハンドセットは、前記１次相互相関及び２次相互相関に基づいて前記映像シーケンスに含まれる前記フレームの各々に関するピクチャタイプを決定するピクチャタイプ決定モジュールをさらに備える。]
[0015] さらなる態様においては、この開示は、映像シーケンスに含まれるフレームの対内の画像情報間における１次相互相関を計算し、前記１次相互相関の対間における２次相互相関を計算し、及び前記１次相互相関及び２次相互相関に基づいて前記映像シーケンスに含まれる前記フレームの各々に関するピクチャタイプを決定するように構成される少なくとも１つのプロセッサを備えるデジタル画像データを処理するための集積回路デバイスを提供する。]
[0016] 追加の態様においては、この開示は、映像データを複数のフレームを含むＧＯＰ構造に分割するＧＯＰ分割器を含むコーディングデバイスと、前記ＧＯＰ構造に含まれる前記フレームに関するピクチャタイプをリアルタイムで決定するＡＧＯＰ構造決定モジュールと、を備えるシステムを提供する。前記システムは、フレームの対内の画像情報間における１次相互相関及び１次相互相関の対間における２次相互相関に基づいて前記ＧＯＰ構造に含まれる前記フレームに関するベンチマークピクチャタイプを決定する前記トランスコーダの外部に配置された相関に基づくＡＧＯＰ構造決定モジュールも含む。前記システムは、前記ピクチャタイプを前記ベンチマークピクチャタイプと比較して前記コーディングデバイス内に組み入れられた前記ＡＧＯＰ構造決定モジュールの精度を決定するベンチマーク比較器をさらに備える。]
[0017] 他の態様においては、この開示は、映像データを複数のフレームを含むＧＯＰ構造に分割するＧＯＰ分割器を備えるコーディングデバイスを提供する。前記コーディングデバイスは、フレームの対内の画像情報間における１次相互相関及び１次相互相関の対間における２次相互相関に基づいて前記ＧＯＰ構造に含まれる前記フレームに関するピクチャタイプをリアルタイムで決定する相関に基づくＡＧＯＰ構造決定モジュールをさらに備える。１つの場合においては、前記コーディングデバイスは、以前に圧縮された映像データを対象とするリアルタイム又は非リアルタイムのトランスコーダを備えることができる。他の場合においては、前記コーディングデバイスは、以前に圧縮されていない生の映像データを対象とするリアルタイム又は非リアルタイムの符号器を備えることができる。]
[0018] この開示おいて説明される技法は、ハードウェア、ソフトウェア、ファームウェア、又はそのいずれかの組み合わせにおいて実装することができる。ソフトウェア内に実装される場合は、前記ソフトウェアは、コンピュータにおいて実行することができる。前記ソフトウェアは、最初は、命令、プログラムコード、等として格納することができる。従って、この開示は、コンピュータによって読み取り可能な媒体であって、この開示に従って技法及び機能を実行することをコンピュータに行わせるための命令を備えるコンピュータによって読み取り可能な媒体、を備える、映像データを処理するためのコンピュータプログラム製品も企図する。代替として、ハードウェアにおいて実装される場合は、該ハードウェア実装は、デジタル、アナログ、又は両方であることができる。この開示の態様は、前記コンピュータによって読み取り可能な媒体において又は前記コンピュータによって読み取り可能な媒体を備えるコンピュータプログラム製品において具現化することができる。前記コンピュータプログラム製品は、パッケージング材料を含むことができる。]
[0019] 添付される図面及び以下の説明には様々な例の追加の詳細が示される。以下の説明と図面から、及び請求項からその他の特徴、目的、利点及び例が明確になるであろう。]
図面の簡単な説明

[0020] リアルタイムトランスコーダに実装されたＡＧＯＰ構造決定モジュールを比較することができる基準となるオフラインのベンチマークとしての相関に基づくＡＧＯＰ構造決定モジュールの典型的実装を示すブロック図である。
リアルタイムトランスコーダに実装された相関に基づくＡＧＯＰ構造決定モジュールの典型的実装を示すブロック図である。
リアルタイム符号器に実装されたＡＧＯＰ構造決定モジュールを比較することができる基準となるオフラインのベンチマークとしての相関に基づくＡＧＯＰ構造決定モジュールの典型的実装を示すブロック図である。
リアルタイム符号器に実装された相関に基づくＡＧＯＰ構造決定モジュールの典型的実装を示すブロック図である。
リアルタイコーディングデバイスによって利用されるオフラインのベンチマークとしての図１及び３からの相関に基づくＡＧＯＰ構造決定モジュールの典型的動作を示すフローチャートである。
リアルタイム又は非リアルタイムのコーディングデバイスに実装された図２及び４からの相関に基づくＡＧＯＰ構造決定モジュールの典型的動作を示すフローチャートである。
図１乃至４からの相関に基づくＡＧＯＰ構造決定モジュールをより詳細に示すブロック図である。
映像シーケンスに含まれるフレーム間における１次相互相関及び２次相互相関をより詳細に示すグラフである。
映像シーケンスに含まれるフレーム間における１次相互相関及び２次相互相関を示すグラフである。
映像シーケンスに含まれるフレーム間における１次相互相関及び２次相互相関を示すグラフである。
図７からの相関に基づくＡＧＯＰ構造決定モジュールに含まれる相関器の典型的実装を示すブロック図である。
図７からの相関に基づくＡＧＯＰ構造決定モジュールに含まれる相関器の他の典型的実装を示すブロック図である。
図７からの相関に基づくＡＧＯＰ構造決定モジュールに含まれる相関解析器の典型的実装を示すブロック図である。
図１１からの相関解析器に含まれる映像遷移検出器の一部としてのコンパクトサポートイベント検出器を示すブロック図である。
図１１からの相関解析器に含まれる映像遷移検出器の一部としての拡張サポートイベント検出器を示すブロック図である。
図１１からの相関解析器に含まれる映像遷移検出器の一部としてのグローバルな動き検出器を示すブロック図である。
画像相互相関に基づいて映像シーケンスに含まれるフレームに関するピクチャタイプを決定する相関に基づくＡＧＯＰ構造決定モジュールの典型的動作を示すフローチャートである。
部分画像相互相関に基づいて映像シーケンスに含まれるフレームに関するピクチャタイプを決定する相関に基づくＡＧＯＰ構造決定モジュールの典型的動作を示すフローチャートである。
図１２からのコンパクトサポートイベント検出器の出力を示す作図であり、カットシーンの変化のフィンガープリントと、フラッシュフレームのフィンガープリントと、を含む。
図１２からのコンパクトサポートイベント検出器の出力を示す作図であり、部分的なシーンの変化のフィンガープリントを含む。
図１３からの拡張サポートイベント検出器の出力を示す作図であり、クロスフェードフィンガープリントを含む。
図１４からのグローバルな動き検出器の出力を示す作図であり、カメラのパンのフィンガープリントと、カメラのスクロールのフィンガープリントと、を含む。
図１４からのグローバルな動き検出器の出力を示す作図であり、カメラのパンのフィンガープリントと、カメラのスクロールのフィンガープリントと、を含む。] 図１ 図１１ 図１２ 図１３ 図１４ 図２ 図７
実施例

[0021] この開示は、映像シーケンスに含まれる複数のフレームの各々に関するピクチャタイプを前記フレーム間における相互相関に基づいて決定するための技法について記述する。相互相関は、映像シーケンスに含まれるフレームの対内の画像情報間における１次相互相関と、１次相互相関の対間における２次相互相関と、を含む。１次相互相関は、解析してフレーム間における映像遷移効果、例えばカットシーンの変化、フラッシュフレーム、クロスフェード、カメラのパンとスクロール、を検出することができる。１次相互相関及び２次相関は、比較解析してフレーム間における時間的類似性を決定することができる。従って、相関に基づく決定技法は、映像遷移効果及び時間的類似性に基づいて前記フレームに関するピクチャタイプを決定する。相関に基づく決定技法は、フレームの対内の画像間における、又はフレームの対内の部分画像、例えばマクロブロック、の組間における１次相互相関を計算することができ、フレームの対の各々に関して部分画像全部又はその一部における平均が求められる。]
[0022] より具体的には、これらの技法は、グループオブピクチャ（ＧＯＰ）構造に含まれるフレームに関するピクチャタイプをこれらのフレーム間における相互相関に基づいて好適に決定することができる。ＧＯＰ構造は、フレーム内コーディング技法及びフレーム間コーディング技法に基づいて映像データの長いシーケンスを管理可能なデータセットに分割する。例えば、ＧＯＰ構造は、典型的には、最初にＩ（“イントラ”）フレームが存在し、その後に、先行するＩフレーム及びＰフレームを参照するＰ（“予測”）フレームが続くか又は先行及び後続するＩフレーム及びＰフレームを参照するＢ（“双方向予測”）フレームが続く。幾つかの場合においては、ＧＯＰ構造は、ＧＯＰ構造に含まれるフレームがＧＯＰ構造外のフレームを参照せずに完全に復号することができる自蔵ユニットを形成するように閉じることができる。その他の場合においては、ＧＯＰ構造は、ＧＯＰ構造に含まれるフレームがＧＯＰ構造外のフレームを参照することができるように開いた状態にすることができる。]
[0023] ここにおいて説明される技法は、ＧＯＰ構造に含まれる複数のフレームの各々に関するピクチャタイプを決定し及び前記ＧＯＰ構造を更新してそれらのフレームの各々に関する決定されたピクチャタイプを指定することが可能な相関に基づく適応型グループオブピクチャ（ＡＧＯＰ）構造決定モジュール内において実行することができる。ここにおいて説明される相関に基づくＡＧＯＰ構造決定技法は、コーディング効率の観点から、ＧＯＰ構造に含まれるフレームに関するピクチャタイプを決定するときに高いレベルの精度を達成することができ及びＡＧＯＰ構造決定技法にとっての“ゴールド基準”であるとみなすことができる。相関に基づくＡＧＯＰ決定モジュールの出力は、時間的類似性メトリックの直観的挙動を実証し、高い感度を有する相関動力学に関する情報を提供する。さらに、相関に基づくＡＧＯＰ決定モジュールの性能は、フレーム内容、レート−歪み最適化特性、及び符号化帯域幅レジーム（ｒｅｇｉｍｅ）特性に大きく依存する。]
[0024] 図１は、リアルタイムトランスコーダ１０に実装されたＡＧＯＰ構造決定モジュール１８を比較することができる基準となるオフラインのベンチマークとしての相関に基づくＡＧＯＰ構造決定モジュール２２の典型的実装を示したブロック図である。トランスコーダ１０は、少なくとも部分的には、総称して集積回路デバイスと呼ぶことができる１つ以上の集積回路デバイスとして形成することができる。幾つかの態様においては、トランスコーダ１０は、無線通信デバイスハンドセット、例えば携帯電話、の一部を成すことができる。図１に示されるように、トランスコーダ１０は、復号器１１と、プリプロセッサ１２と、符号器１４と、を含む。プリプロセッサ１２は、ＧＯＰ分割器１６を含み、符号器１４は、ＡＧＯＰ構造決定モジュール１８を含む。その他の実装においては、ＡＧＯＰ構造決定モジュール１８の機能は、プリプロセッサ１２と符号器１４との間で分割することができる。] 図１
[0025] トランスコーダ１０は、コーディングされた映像データを含む映像シーケンスを映像データプロバイダから受信する。映像シーケンスは、連続するフレーム間における又は単一フレーム内における類似性を最も効果的に利用するアルゴリズムをサポートしない映像符号化規格を用いてコーディングされた映像データを備えることができる。例えば、映像シーケンスは、現在最も効率的なフレーム間圧縮及びフレーム内圧縮を提供しないＭＰＥＧ−２（Ｐａｒｔ２）を用いて符号化されたデジタルテレビデータを備えることができる。しかしながら、多くの映像用途、特に無線映像ブロードキャストティング用途、は、より精巧なアルゴリズムによってフレーム間及びフレーム内におけるデータ冗長性を利用するより高度な符号化規格、例えばＩＴＵ−Ｔ Ｈ．２６４、によって提供される高効率のデータ圧縮を要求する。従って、トランスコーダ１０は、映像シーケンスを他のより高度な符号化規格に変換することができる。例えば、トランスコーダ１０は、無線映像ブロードキャスティング、効率的な格納、又は高効率のデータ圧縮を希望するその他の用途又はサービスのために映像フレームを準備するために映像シーケンスを再符号化することができる。]
[0026] 映像シーケンスを変換するために、復号器１１は、効率がより低い原コーディング規格からの映像シーケンスを復号する。プリプロセッサ１２内のＧＯＰ分割器１６は、復号された映像シーケンスを複数のフレームを含むＧＯＰ構造に分割する。ＧＯＰ分割器１６は、映像シーケンスのためのランダムアクセスを可能にする均一なＩフレームの間隔に基づいて予め決められたＧＯＰ構造サイズに従って、又は映像シーケンス内におけるランダムアクセスを可能にするＩフレームのランダムな配置に従って、復号された映像シーケンスをフレームのグループに分割することができる。例えば、ＧＯＰ分割器１６は、復号された映像シーケンスを、各々のグループがＩフレームで始まる約３０フレームから成るグループに分割することができる。]
[0027] 符号器１４内のＡＧＯＰ構造決定モジュール１８は、ＧＯＰ分割器１６によって生成されたＧＯＰ構造に含まれるフレームの各々に関するピクチャタイプを決定する。ＡＧＯＰ構造決定モジュール１８は、相関に基づかないＡＧＯＰ構造決定技法も実行することができる。例えば、ＡＧＯＰ構造決定モジュール１８は、ヒストグラム又は分散評価基準、エッジ決定に基づくアルゴリズム、又は動きベクトルフィールド展開又は時間的予測効率メトリックに基づくアルゴリズムを用いてルミナンス信号及びクロミナンス信号の両方の信号の統計上の特徴の解析を行い、ＧＯＰ構造に含まれるフレームに関するピクチャタイプを決定することができる。次に、符号器１４は、希望される符号化規格を用いてフレームを再符号化し、再符号化されたフレームを無線映像ブロードキャスティングのために送信機に送信し、格納のために格納デバイスに送信し、又は高効率のデータ圧縮を希望する用途又はサービスのためにその他の装置に送信する。]
[0028] この開示の一態様により、相関に基づくＡＧＯＰ構造決定モジュール２２は、トランスコーダ１０に実装されたＡＧＯＰ構造決定モジュール１８を比較することができる基準となるオフラインのベンチマークとしてトランスコーダ１０の外部に配置することができる。相関に基づくＡＧＯＰ構造決定モジュール２２は、ＧＯＰ分割器１６によって生成されたＧＯＰ構造に含まれるフレームの各々に関するベンチマークピクチャタイプをこれらのフレーム間における相互相関に基づいて決定する。]
[0029] 相関に基づくＡＧＯＰ構造決定モジュール２２によって行われる相互相関計算は、ＧＯＰ構造に含まれるフレームの対内の画像情報間における１次相互相関と、１次相互相関の対間における２次相互相関とを含むことができる。１次相互相関計算は、ピクセル領域において計算することができる。１次相互相関は、解析してフレーム間における映像遷移効果を検出することができる。１次相互相関及び２次相互相関は、比較解析して隣接フレーム間における時間的類似性を決定することができる。このようにして、相関に基づくＡＧＯＰ構造決定モジュール２２は、映像遷移及び時間的類似性に基づいてフレームに関するピクチャタイプを決定する。]
[0030] 映像遷移効果は、映像シーケンスの現在のシーンから同じ映像シーケンスの他のシーン又は他の映像シーケンスの他のシーンに遷移するために用いられる視覚上の映像効果を意味する。概して、映像遷移効果は、３つのカテゴリ、すなわち、コンパクトサポート効果（ｃｏｍｐａｃｔ ｓｕｐｐｏｒｔ ｅｆｆｅｃｔ）、例えば、カットシーンの変化、ショット境界、及びフラッシュフレーム、拡張サポート効果（ｅｘｔｅｎｄｅｄ ｓｕｐｐｏｒｔ ｅｆｆｅｃｔ）、例えば、クロスフェード及びディゾルブ、及びグローバルな動きの効果（ｇｌｏｂａｌ ｍｏｔｉｏｎ ｅｆｆｅｃｔ）、例えば、カメラのパン及びカメラのスクロール、に分割することができる。時間的類似性は、現在のフレームと隣接フレームとの間における画像内容又はディテールの繰り返しのレベルを意味する。時間的類似性を測定することは、現在のフレームがＰピクチャ、Ｂピクチャ、又はＩピクチャのいずれのピクチャとして符号化するのに適する内容を含むかどうかを決定するのに役立つことができる。例えば、現在のフレームがいずれの隣接フレームとも類似していない場合は、現在のフレームは、Ｉピクチャとして符号化すべきである。現在のフレームが先行する隣接フレームに類似するが後続する隣接フレームには類似しない場合は、現在のフレームはＰピクチャとして符号化すべきである。現在のフレームが先行する隣接フレーム及び後続する隣接フレームの両方に類似する場合は、それは、Ｐピクチャ又はＢピクチャとして符号化すべきである。]
[0031] 一態様において、相関に基づくＡＧＯＰ構造決定モジュール２２は、ＧＯＰ構造に含まれるフレームの対内の画像間における１次相互相関を計算する。１次画像相互相関は、フレームの対間におけるグローバルな、すなわち全体的な、類似性及びグローバルな動きの量を識別するが、部分画像のより小さいスケールでフレーム内において生じた動きは識別しない。この場合は、相関に基づくＡＧＯＰ構造決定モジュール２２は、フルフレームに関するピクチャタイプを決定することができる。]
[0032] 他の態様においては、相関に基づくＡＧＯＰ構造決定モジュール２２は、ＧＯＰ構造に含まれるフレームの対内の部分画像、例えばマクロブロック、の組間における１次相互相関を計算し、フレームの対の各々に関して部分画像全部又はその一部における相互相関の平均を求める。１次部分画像相互相関は、フレームの対間における部分画像の類似性及び動き量を識別し及びその動きがフレーム内のどこで生じたかを識別する。この場合は、相関に基づくＡＧＯＰ構造決定モジュール２２は、パディングピクセル（ｐａｄｄｉｎｇ ｐｉｘｅｌ）を加えることによって部分画像の組内の各部分画像にパディングして共通の画像サイズにする。このようにして、相関に基づくＡＧＯＰ構造決定モジュール２２は、第１のフレーム内のパディングされた部分画像の各々を第２のフレーム内の潜在的に異なる原サイズのパディングされた部分画像と相互相関させることができる。例えば、部分画像は、６４×６４画像にパディングすることができる１６×１６マクロブロックを備えることができる。他の例においては、部分画像は、１６×８、８×１６、８×８又はそれよりも小さいピクセルブロックを備えることができる。さらに、映像シーケンスに含まれるフレームの各々は、複数のスライスに分割し、相関に基づくＧＯＰ構造決定モジュール２２がこれらのフレームの各々のフレームの個々のスライスに関するピクチャタイプを決定できるようにすることができる。]
[0033] 相関に基づくＡＧＯＰ構造決定モジュール２２は、ＧＯＰ構造に含まれるフレームに関するピクチャタイプを決定するときに、コーディング効率の観点からの高いレベルの精度を達成させ、このため、それは、その他のＡＧＯＰ決定技法の評価用の“ゴールド基準”とみなすことができる。ベンチマーク比較器２０は、ＡＧＯＰ構造決定モジュール１８によってリアルタイムで決定されたピクチャタイプを、相関に基づくＡＧＯＰ構造決定モジュール２２によって決定されたベンチマークピクチャタイプと比較し、リアルタイムトランスコーダ１０に組み入れられたＡＧＯＰ構造決定モジュール１８の精度を決定する。このようにして、ＡＧＯＰ構造決定モジュール１８の変更は、トランスコーダ１０内への実装前に相関に基づくＡＧＯＰ構造決定モジュール２２の“ゴールド基準”と照合して試験することができる。]
[0034] ＧＯＰ構造に含まれるフレームに関するピクチャタイプを正確に決定することは、要求される符号化ビットレートを低下させ、フレームの効率的な圧縮を可能にする。例えば、Ｉフレーム、Ｐフレーム、及びＢフレームのＧＯＰ構造を正確に決定することは、符号器１４が、フレームの異なる冗長性のタイプ及び従属性構造を利用し、フレームの異なる複雑さに対して適切な組の圧縮ツールを利用し、ブロードキャスト用途のためのチャネル切り換え等の特定用途ごとの要求をサポートすることによってフレームを効率的に符号化するのを可能にする。このようにして、符号器１４は、トランスコーダ１０内でのレートと歪みの間における妥協（ｔｒａｄｅｏｆｆ）を向上させることができる。さらに、内容に依存するピクチャタイプの決定は、符号器１４が向上されたコーディング効率及び映像遷移のより良い処理のために信号相関をより良く利用するのを可能にする。]
[0035] 符号器１４は、映像圧縮規格、例えば、ＭＰＥＧ−２（Ｐａｒｔ２）、ＭＰＥＧ−４（Ｐａｒｔ２）、ＩＴＵ−Ｔ Ｈ．２６３、又はＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４（Ｐａｒｔ１０）アドバンストビデオコーディング（ＡＶＣ）、に従って動作することができる。図１には示されていないが、幾つかの態様においては、符号器１４は、音声復号器及び符号器と統合することができ、及び音声及び映像の両方の符号化を共通のデータストリームにおいて又は別個のデータストリームとして取り扱うための該当するＭＵＸ／ＤＥＭＵＸユニット、又はその他のハードウェア及びソフトウェアを含むことができる。該当する場合は、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ−Ｔ Ｈ．２２３マルチプレクサプロトコル、又はその他のプロトコル、例えばユーザデータグラムプロトコル（ＵＤＰ）、に準拠することができる。] 図１
[0036] Ｈ．２６４／ＭＰＥＧ−４ Ｐａｒｔ１０（ＡＶＣ）規格は、ＩＴＵ−Ｔビデオコーディングエキスパーツグループ（ＶＣＥＧ）が、ＩＳＯ／ＩＥＣムービングピクチャエキスパーツグループ（ＭＰＥＧ）と共同で、ジョイントビデオチーム（ＪＴＶ）と呼ばれる共同パートナー関係の産物として作成したものである。Ｈ．２６４規格は、ＩＴＵ−Ｔスタディグループによる２００５年３月付ＩＴＵ−Ｔ勧告Ｈ．２６４、一般的オーディオビジュアルサービスのための高度映像コーディングにおいて説明されており、ここでは、Ｈ．２６４規格又はＨ．２６４仕様、又はＨ．２６４／ＡＶＣ規格又は仕様と呼ぶことができる。]
[0037] ジョイントビデオチーム（ＪＶＴ）は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣへのスケーラブルビデオコーディング（ＳＶＣ）の拡張作業を継続中である。進展中のＳＶＣ拡張の仕様は、ジョイントドラフト（ＪＤ）の形になっている。ＪＶＴによって構築されたジョイントスケーラブルビデオモデル（ＪＳＶＭ）は、スケーラブルビデオコーディングにおいて用いるためのツールを実装しており、それらは、この開示において説明される様々なコーディングタスクのためにトランスコーダ１０内において用いることができる。ジョイントドラフト文書、例えば、ジョイントドラフト６（ＳＶＣ ＪＤ６）、トーマス・ウィーガント（Thomas Wiegand）、ゲーリー・サリバン（Gary Sullivan）、ジュリアン・レイシェル（Julien Reichel）、ハイコ・シュワルツ（Heiko Schwarz）、及びマチアス・ウィーン（Mathias Wien）“Joint Draft 6: Scalable Video Coding”（ジョイントドラフト６：スケーラブルビデオコーディング）、JVT-S 201, April 2006, Genevaにおいて、及びジョイントドラフト９（ＳＶＣ ＪＤ９）、トーマス・ウィーガント、ゲーリー・サリバン、ジュリアン・レイシェル、ハイコ・シュワルツ、及びマチアス・ウィーン“Joint Draft 9 of SVC Amendment”（ＳＶＣ修正ジョイントドラフト９）JVT-V 201, January 2007, Marrakech, Moroccoにおいて、微細粒度スケーラビリティ（Ｆｉｎｅ Ｇｒａｎｕｌａｒ Ｓｃａｌａｂｉｌｉｔｙ）（ＦＧＳ）コーディングに関する詳細情報を見つけることができる。]
[0038] 幾つかの態様においては、映像ブロードキャスティングに関して、この開示において説明される技法は、技術規格ＴＩＡ−１０９９（“ＦＬＯ仕様”）として発行予定の順方向リンク専用（ＦＬＯ）エアインタフェース仕様“Forward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast”（地上移動マルチメディアマルチキャストに関する順方向リンク専用エアインタフェース仕様）を用いて地上移動マルチメディアマルチキャスト（ＴＭ３）システムにおいてリアルタイム映像サービスを配信するための拡張Ｈ．２６４映像コーディングに対して適用することができる。ＦＬＯ仕様は、ＦＬＯエアインタフェースに適するビットストリーム構文及び意味論及び復号プロセスを定義する例を含む。代替として、映像は、その他の規格、例えばＤＶＢ−Ｈ（デジタルビデオブロードキャスティング−ハンドヘルド）、ＩＳＤＢ−Ｔ（総合デジタル放送サービス−地上）、又はＤＭＢ（デジタルメディア放送）、等に従ってブロードキャストすることができる。従って、コーディングされた映像データの映像シーケンスは、モバイル無線端末、映像ストリーミングサーバ、又は映像ブロードキャストサーバから送信することができる。しかしながら、この開示において説明される技法は、特定のタイプのブロードキャスト、マルチキャスト、ユニキャスト又はその他のポイント・ツー・ポイントシステムに限定されない。ブロードキャストの場合は、映像データプロバイダは、コーディングされた映像データの幾つかのチャネルを複数の受信デバイスにブロードキャストすることができる。]
[0039] 図２は、リアルタイムトランスコーダ２４に実装された相関に基づくＡＧＯＰ構造決定モジュール２２の典型的実装を示したブロック図である。図２の例において、相関に基づくＡＧＯＰ構造決定モジュール２２は、図１に示されるように異なるＧＯＰ構造決定モジュールを評価するためのベンチマークとして用いられる代わりに、トランスコーディングのために用いられる。トランスコーダ２４は、少なくとも部分的には、総称して集積回路デバイスと呼ぶことができる１つ以上の集積回路デバイスとして形成することができる。幾つかの態様においては、トランスコーダ２４は、無線通信デバイスハンドセット、例えば携帯電話、の一部を成すことができる。] 図１ 図２
[0040] 図２に示されるように、トランスコーダ２４は、復号器２５と、プリプロセッサ２６と、符号器２８と、を含む。プリプロセッサ２６は、ＧＯＰ分割器３０と、複雑さ低減モジュール３２と、を含む。符号器２８は、相関に基づくＡＧＯＰ構造決定モジュール２２を含む。図２に示される実装においては、相関に基づくＡＧＯＰ構造決定モジュール２２の全体が符号器２８に含まれる。その他の実装においては、相関に基づくＡＧＯＰ構造決定モジュール２２の機能は、プリプロセッサ２６と符号器２８との間で分割することができる。例えば、相関に基づくＡＧＯＰ構造決定モジュール２２は、プリプロセッサ２６内における相互相関を計算することができ及び符号器２８内における相関解析及びピクチャタイプの決定を行うことができる。] 図２
[0041] トランスコーダ２４は、コーディングされた映像データを含む映像シーケンスを映像データプロバイダから受信する。図１を参照して上述されるように、映像シーケンスは、連続するフレーム間における又は単一フレーム内における類似性を最も効果的に利用するアルゴリズムをサポートしない映像符号化規格を用いてコーディングされた映像データ、例えば、ＭＰＥＧ−２（Ｐａｒｔ２）を用いて符号化されたデジタルテレビデータ、を備えることができる。トランスコーダ２４は、映像シーケンスを、他のより高度な符号化規格、例えばＩＴＵ−Ｔ Ｈ．２６４、に変換することができる。例えば、トランスコーダ２４は、無線映像ブロードキャスティング、効率的な格納、又は高効率のデータ圧縮を希望するその他の用途又はサービスのために映像フレームを準備するために映像シーケンスを再符号化することができる。] 図１
[0042] 映像シーケンスを変換するために、復号器２５は、効率がより低い原コーディング規格からの映像シーケンスを復号する。プリプロセッサ２６内のＧＯＰ分割器３０は、復号された映像シーケンスを複数のフレームを含むＧＯＰ構造に分割する。ＧＯＰ分割器３０は、映像シーケンスのためのランダムアクセスを可能にする均一なＩフレームの間隔に基づいて予め決められたＧＯＰサイズに従って、又は映像シーケンス内におけるランダムアクセスを可能にする均一なＩフレームのランダムな配置に従って、復号された映像シーケンスをフレームのグループに分割することができる。例えば、ＧＯＰ分割器３０は、復号された映像シーケンスを、各々のグループがＩフレームで始まる約３０フレームから成るグループに分割することができる。]
[0043] 図１を参照して上述されるように、相関に基づくＡＧＯＰ構造決定モジュール２２は、相互相関計算が非リアルタイムで行われるときのＡＧＯＰ構造決定技法にとっての“ゴールド基準”であるとみなすことができる。従って、相関に基づくＡＧＯＰ構造決定モジュール２２が非リアルタイムトランスコーダ内に実装される場合は、相関に基づくＡＧＯＰ構造決定モジュール２２は、複雑さ低減なしに非リアルタイムでピクチャタイプを決定することができる。しかしながら、図２に示される態様においては、トランスコーダ２４はリアルタイムトランスコーダを備え、トランスコーダ２４内に実装された相関に基づくＡＧＯＰ構造決定モジュール２２は、リアルタイムでのピクチャタイプの決定を可能にするために複雑さ低減の対象とすることができる。] 図１ 図２
[0044] 図２に示される実装においては、プリプロセッサ２６は、相関に基づくＡＧＯＰ構造決定モジュール２２が、精度が可能な限り失われない形でリアルタイムで相互相関を計算するのを可能にするための一定の複雑さ低減を行う複雑さ低減モジュール３２を含む。例えば、複雑さ低減モジュール４４は、ＧＯＰ構造に含まれるフレーム内の画像情報の解像度を低下させることができる。複雑さ低減モジュール３２は、相関に基づくＡＧＯＰ構造決定モジュール２２が所定のフレームに関するピクチャタイプを決定するときに計算することができる相互相関計算数を制限することも可能である。幾つかの実装においては、複雑さ低減モジュール３２は、相関に基づくＡＧＯＰ構造決定モジュール２２の映像データ又はリアルタイム機能に対するその他の複雑さ低減を行うことができる。] 図２
[0045] 複雑さ低減モジュール４４が必要な複雑さ低減を実行した時点で、符号器２４内の相関に基づくＡＧＯＰ構造決定モジュール２２は、ＧＯＰ分割器３０によって生成されたＧＯＰ構造に含まれるフレームの各々に関するピクチャタイプをこれらのフレーム間における相互相関に基づいてリアルタイムで決定する。符号器２８は、希望される符号化規格を用いてフレームを再符号化し、再符号化されたフレームを無線映像ブロードキャスティングのために送信機に送信し、格納のために格納デバイスに送信し、又は高効率のデータ圧縮を希望する用途又はサービスのためにその他の装置に送信する。]
[0046] 相関に基づくＡＧＯＰ構造決定モジュール２２は、図１を参照して上述されるように動作する。図２に示される例においては、相関に基づくＡＧＯＰ構造決定モジュール２２の動作は、複雑さ低減の対象とすることができる。しかしながら、図２に示される例は、制限することは意図されない。その他の例においては、トランスコーダ２４は、相関に基づくＡＧＯＰ構造決定モジュール２２をリアルタイムで及び複雑さ低減なしで実装するために、サポートされる単位時間当たり計算数の性能の点で十分に強力なソフトウェア、ハードウェア、及び／又はファームウェアプラットフォームを含むことができる。] 図１ 図２
[0047] 相互相関は、ＧＯＰ構造に含まれるフレームの対内の画像情報間における１次相互相関と、１次相互相関の対間における２次相互相関とを含む。１次相互相関は、ピクセル領域において計算することができる。１次相互相関計算は、解析してフレーム間における映像遷移を検出することができる。１次相互相関及び２次相互相関は、比較解析して隣接フレーム間における時間的類似性を決定することができる。このようにして、相関に基づくＡＧＯＰ構造決定モジュール２２は、映像の遷移及び時間的類似性に基づいてフレームに関するピクチャタイプを決定する。]
[0048] 一態様において、相関に基づくＡＧＯＰ構造決定モジュール２２は、ＧＯＰ構造に含まれるフレームの対内の画像間における１次相互相関を計算する。１次画像相互相関は、フレームの対間におけるグローバルな、すなわち全体的な、類似性及びグローバルな動きの量を識別するが、部分画像のより小さいスケールでフレーム内において生じた動きは識別しない。この場合は、相関に基づくＡＧＯＰ構造決定モジュール２２は、フルフレームに関するピクチャタイプを決定することができる。]
[0049] 他の態様においては、相関に基づくＡＧＯＰ構造決定モジュール２２は、ＧＯＰ構造に含まれるフレームの対内の部分画像、例えばマクロブロック、の組間における１次相互相関を計算し、フレームの対の各々に関して部分画像全部又はその一部における相互相関の平均を求める。１次部分画像相互相関は、フレームの対間における部分画像の類似性及び動き量を識別し及びその動きがフレーム内のどこで生じたかを識別する。この場合は、相関に基づくＡＧＯＰ構造決定モジュール２２は、パディングピクセルを加えることによって部分画像の組内の各々の部分画像にパディングして共通の画像サイズにする。このようにして、相関に基づくＡＧＯＰ構造決定モジュール２２は、第１のフレーム内のパディングされた部分画像の各々を第２のフレーム内の潜在的に異なる原サイズのパディングされた部分画像と相互相関させることができる。例えば、部分画像は、６４×６４画像にパディングすることができる１６×１６マクロブロックを備えることができる。他の例においては、部分画像は、１６×８、８×１６、８×８又はそれよりも小さいピクセルブロックを備えることができる。さらに、映像シーケンスに含まれるフレームの各々は、複数のスライスに分割し、相関に基づくＡＧＯＰ構造決定モジュール２２がこれらのフレームの各々のフレームの個々のスライスに関するピクチャタイプを決定できるようにすることができる。]
[0050] 相関に基づくＡＧＯＰ構造決定モジュール２２は、コーディング効率の観点からの、ＧＯＰ構造に含まれるフレームに関するピクチャタイプの正確なリアルタイムの決定を可能にする。ＧＯＰ構造に含まれるフレームに関するピクチャタイプを正確に決定することは、符号化ビットレートを低下させ、フレームの効率的な圧縮を可能にする。例えば、Ｉフレーム、Ｐフレーム、及びＢフレームのＧＯＰ構造を正確に決定することは、符号器２８が、フレームの異なる冗長性のタイプ及び従属性構造を利用し、フレームの異なる複雑さに対して適切な組の圧縮ツールを利用し、ブロードキャスト用途のためのチャネル切り換え等の特定用途ごとの要求をサポートすることによってフレームを効率的に符号化するのを可能にする。このようにして、符号器２８は、トランスコーダ２４内でのレートと歪みの間における妥協を向上させることができる。さらに、内容に依存するピクチャタイプの決定は、符号器２８が向上されたコーディング効率及び映像遷移のより良い処理のために信号相関をより良く利用するのを可能にする。符号器２８は、図１からの符号器１４と実質的に同様に動作することができる。従って、コーディングされた映像データの映像シーケンスは、モバイル無線端末、映像ストリーミングサーバ、又は映像ブロードキャストサーバであることができる。ブロードキャストの場合は、映像データプロバイダは、コーディングされた映像データの幾つかのチャネルを複数の受信デバイスにブロードキャストすることができる。] 図１
[0051] 他の態様においては、トランスコーダ２４は、相関に基づくＡＧＯＰ構造決定モジュール２２と、図１からのＡＧＯＰ構造決定モジュール１８に類似するＡＧＯＰ構造決定モジュールと、の両方を含むことができる。このようにして、トランスコーダ２４は、相互相関に基づいてリアルタイムでピクチャタイプを決定するための十分な資源を利用可能であるときに相関に基づくＡＧＯＰ構造決定モジュール２２を利用することができる。しかしながら、資源が不足するときには、トランスコーダ２４は、リアルタイムでのピクチャタイプの決定のために、より高速であるが正確さが低い可能性がある、相関に基づかないＡＧＯＰ構造決定モジュールを代わりに利用することができる。] 図１
[0052] 図３は、リアルタイム符号器３６に実装されたＡＧＯＰ構造決定モジュール４０を比較することができる基準となるオフラインのベンチマークとしての相関に基づくＡＧＯＰ構造決定モジュール２２の典型的実装を示したブロック図である。符号器３６は、少なくとも部分的には、総称して集積回路デバイスと呼ぶことができる１つ以上の集積回路デバイスとして形成することができる。幾つかの態様においては、符号器３６は、無線通信デバイスハンドセット、例えば携帯電話、の一部を成すことができる。] 図３
[0053] 図３に示されるように、符号器３６は、ＧＯＰ分割器３８と、ＡＧＯＰ構造決定モジュール４０と、を含む。符号器３６は、単一パス又は複数パスの映像符号器を備えることができる。符号器３６は、映像圧縮規格、例えば、ＭＰＥＧ−２（Ｐａｒｔ２）、ＭＰＥＧ−４（Ｐａｒｔ２）、ＩＴＵ−Ｔ Ｈ．２６３、又はＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４（Ｐａｒｔ１０）アドバンストビデオコーディング（ＡＶＣ）、に従って動作することができる。] 図３
[0054] 符号器３６は、以前に圧縮されていない生の映像データを含む映像シーケンスを映像データプロバイダから受信する。多くの映像用途、特に無線映像ブロードキャスティング用途は、より精巧なアルゴリズムによってフレーム間及びフレーム内におけるデータ冗長性を利用するより高度な符号化規格、例えばＩＴＵ−Ｔ Ｈ．２６４、によって提供される高効率のデータ圧縮を要求する。例えば、符号器３６は、無線映像ブロードキャスティング、効率的な格納、又は高効率のデータ圧縮を希望するその他の用途又はサービスのために映像フレームを準備するために映像シーケンスを符号化することができる。]
[0055] 映像シーケンスを符号化するために、ＧＯＰ分割器３８は、映像シーケンスを複数のフレームを含むＧＯＰ構造に分割する。ＧＯＰ分割器３８は、復号された映像シーケンスを複数のフレームを含むＧＯＰ構造に分割する。ＧＯＰ分割器３０は、映像シーケンスのためのランダムアクセスを可能にする均一なＩフレームの間隔に基づいて予め決められたＧＯＰサイズに従って、又は映像シーケンス内におけるランダムアクセスを可能にする均一なＩフレームのランダムな配置に従って、映像シーケンスをフレームのグループに分割することができる。例えば、ＧＯＰ分割器３８は、映像シーケンスを、各々のグループがＩフレームで始まる約３０のフレームから成るグループに分割することができる。その他の場合においては、ＧＯＰ分割器３８は、基本になる送信方式の物理層パケット化及びデータバースト特性に基づく考慮事項に従って映像シーケンスをフレームのグループに分割することができる。統計的多重化方式及びその設計の存在は、ＧＯＰ分割器３８が映像シーケンスをフレームのグループに分割する方法にも影響を与えることができる。]
[0056] 符号器３６内のＡＧＯＰ構造決定モジュール４０は、ＧＯＰ分割器３８によって生成されたＧＯＰ構造に含まれるフレームの各々に関するピクチャタイプを決定する。ＡＧＯＰ構造決定モジュール４０は、相関に基づかないＡＧＯＰ構造決定技法を実行することができる。符号器３６は、希望される符号化規格を用いてフレームを符号化し、符号化されたフレームを無線映像ブロードキャスティングのために送信機に送信し、格納のために格納デバイスに送信し、又は高効率のデータ圧縮を希望する用途又はサービスのためにその他の装置に送信する。]
[0057] この開示の一態様により、相関に基づくＡＧＯＰ構造決定モジュール２２は、符号器３６に実装されたＡＧＯＰ構造決定モジュール４０を比較することができる基準となるオフラインのベンチマークとして符号器３６の外部に配置することができる。相関に基づくＡＧＯＰ構造決定モジュール２２は、ＧＯＰ分割器３８によって生成されたＧＯＰ構造に含まれるフレームの各々に関するベンチマークピクチャタイプをこれらのフレーム間における相互相関に基づいて決定する。相関に基づくＡＧＯＰ構造決定モジュール２２は、図１を参照して上述されるように動作する。] 図１
[0058] 相関に基づくＡＧＯＰ構造決定モジュール２２は、ＧＯＰ構造に含まれるフレームに関するピクチャタイプを決定するときに、コーディング効率の観点からの高いレベルの精度を達成させ、このため、それは、その他のＡＧＯＰ決定技法の評価用の“ゴールド基準”とみなすことができる。ベンチマーク比較器４２は、相関に基づくＡＧＯＰ構造決定モジュール４０によってリアルタイムで決定されたピクチャタイプを、相関に基づくＡＧＯＰ構造決定モジュール２２によって決定されたベンチマークピクチャタイプと比較し、リアルタイム符号器３６に組み入れられたＡＧＯＰ構造決定モジュール４０の精度を決定する。このようにして、ＡＧＯＰ構造決定モジュール４０の変更は、符号器３６内での実装前に相関に基づくＡＧＯＰ構造決定モジュール２２の“ゴールド基準”と照合して試験することができる。]
[0059] 図４は、リアルタイム符号器４４に実装された相関に基づくＡＧＯＰ構造決定モジュール２２の典型的実装を示すブロック図である。図４の例においては、相関に基づくＡＧＯＰ構造決定モジュール２２は、図３に示されるように異なるＧＯＰ構造決定モジュールを評価するためのベンチマークとして用いられる代わりに、符号化のために用いられる。符号器４４は、少なくとも部分的には、総称して集積回路デバイスと呼ぶことができる１つ以上の集積回路デバイスとして形成することができる。幾つかの態様においては、符号器４４は、無線通信デバイスハンドセット、例えば携帯電話、の一部を成すことができる。] 図３ 図４
[0060] 図４に示されるように、符号器４４は、ＧＯＰ分割器４６と、複雑さ低減モジュール４８と、相関に基づくＡＧＯＰ構造決定モジュール２２と、を含む。符号器４４は、単一パス又は複数パスの映像符号器を備えることができる。符号器４４は、映像圧縮規格、例えば、ＭＰＥＧ−２（Ｐａｒｔ２）、ＭＰＥＧ−４（Ｐａｒｔ２）、ＩＴＵ−Ｔ Ｈ．２６３、又はＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４（Ｐａｒｔ１０）アドバンストビデオコーディング（ＡＶＣ）、に従って動作することができる。] 図４
[0061] 符号器４４は、以前に圧縮されなかった生の映像データを含む映像シーケンスを映像データプロバイダから受信する。符号器３２は、無線映像ブロードキャスティング、効率的な格納、又は高効率のデータ圧縮を希望するその他の用途又はサービスのために映像フレームを準備するために映像シーケンスを符号化することができる。映像シーケンスを符号化するために、ＧＯＰ分割器４６は、映像シーケンスを複数のフレームを含むＧＯＰ構造に分割する。上述されるように、相関に基づくＡＧＯＰ構造決定モジュール２２は、相互相関計算が非リアルタイムで行われるときのＡＧＯＰ決定技法にとっての“ゴールド基準”であるとみなすことができる。従って、相関に基づくＡＧＯＰ構造決定モジュール２２が非リアルタイム符号器内に実装されるときには、相関に基づくＡＧＯＰ構造決定モジュール２２は、複雑さ低減なしで非リアルタイムでピクチャタイプを決定することができる。しかしながら、図４に示される態様においては、符号器４４はリアルタイム符号器を備え、符号器４４内に実装された相関に基づくＡＧＯＰ構造決定モジュール２２は、リアルタイムでのピクチャタイプの決定を可能にするために複雑さ低減の対象とすることができる。] 図４
[0062] 図４に示される実装において、複雑さ低減モジュール４８は、相関に基づくＡＧＯＰ構造決定モジュール２２が、精度が可能な限り失われない形でリアルタイムで相互相関計算を行うことを可能にするための一定の複雑さ低減を行う。複雑さ低減モジュール４８は、図２からのトランスコーダ２４のプリプロセッサ２６内の複雑さ低減モジュール３２と実質的に同様に動作する。] 図２ 図４
[0063] 相関に基づくＡＧＯＰ構造決定モジュール２２は、図１を参照して上述されるように動作する。図４に示される例においては、相関に基づくＡＧＯＰ構造決定モジュール２２の動作は、複雑さ低減の対象とすることができる。しかしながら、図４に示される例は、制限することは意図されない。その他の例においては、符号器４４は、相関に基づくＡＧＯＰ構造決定モジュール２２をリアルタイムで及び複雑さ低減なしで実装するために、サポートされる単位時間当たり計算数の性能の点で十分に強力なソフトウェア、ハードウェア、及び／又はファームウェアプラットフォームを含むことができる。] 図１ 図４
[0064] 図５は、リアルタイムトランスコーダ１０によって利用されるオフラインのベンチマークとしての相関に基づくＡＧＯＰ構造決定モジュール２２の典型的動作を示すフローチャートである。図５のフローチャートは、図１のリアルタイムトランスコーダ１０に関連して説明される。プリプロセッサ１２が復号器１１から復号された映像データを受信した時点で、ＧＯＰ分割器１６は、映像データを各々が複数のフレームを含むＧＯＰ構造に分割する（５０）。] 図１ 図５
[0065] リアルタイムトランスコーダ１０に実装されたＡＧＯＰ構造決定モジュール１８は、ＧＯＰ構造に含まれるフレームに関するピクチャタイプをリアルタイムで決定する（５２）。リアルタイムトランスコーダ１０の外部に配置された相関に基づくＡＧＯＰ構造決定モジュール２２は、ＧＯＰ構造に含まれるフレームに関するベンチマークピクチャタイプを決定する（５４）。相関に基づくＡＧＯＰ構造決定モジュール２２の出力は、ピクチャタイプ決定技法の“ゴールド基準”であるとみなすことができる。従って、ベンチマーク比較器２０は、ＡＧＯＰ構造決定モジュール１８によって決定されたリアルタイムの計算されたピクチャタイプを、相関に基づくＡＧＯＰ構造決定モジュール２２によって決定されたベンチマークピクチャタイプと比較し、ＡＧＯＰ構造決定モジュール１８の精度を決定する（５５）。]
[0066] 図６は、リアルタイムトランスコーダ２４に実装された相関に基づくＡＧＯＰ構造決定モジュール２２の典型的動作を示すフローチャートである。図６のフローチャートは、図２のリアルタイムトランスコーダ２４に関連して説明される。プリプロセッサ２６が復号器２５から復号された映像データを受信した時点で、ＧＯＰ分割器３０は、映像データを各々が複数のフレームを含むＧＯＰ構造に分割する（５６）。] 図２ 図６
[0067] 複雑さ低減モジュール３２は、ＧＯＰ構造に含まれるフレーム内の画像情報の解像度を低下させる（５７）。幾つかの場合においては、複雑さ低減モジュール３２は、相関に基づくＡＧＯＰ構造決定モジュール２２が所定のフレームに関するピクチャタイプを決定するときに計算することができる相互相関数を制限することも可能である。リアルタイムトランスコーダ２４に実装された相関に基づくＡＧＯＰ構造決定モジュール２２は、ＧＯＰ構造に含まれるフレームに関するピクチャタイプをリアルタイムで決定する（５８）。]
[0068] 図７は、相関に基づくＡＧＯＰ構造決定モジュール２２をより詳細に示すブロック図である。上述されるように、相関に基づくＡＧＯＰ構造決定モジュール２２は、リアルタイムコーディングデバイスの外部のオフラインベンチマークとして用いることができ（図１及び３）又はリアルタイムコーディングデバイスに実装することができる（図２及び４）。図７に示されるように、相関に基づくＡＧＯＰ構造決定モジュール２２は、解析ウィンドウ配置モジュール６０と、相関器６２と、相関解析器６４と、ピクチャタイプ決定モジュール６６と、評価モジュール６８と、を含む。] 図１ 図２ 図７
[0069] 概して、相関に基づくＡＧＯＰ構造決定モジュール２２は、ＧＯＰ構造に含まれるフレームを受信し、フレームの対内の画像情報間における相互相関に基づいてフレームの各々に関するピクチャタイプを決定する。解析ウィンドウ配置モジュール６０は、ＧＯＰ構造内において、予め決められたフレームカウント幅の解析ウィンドウを、候補フレームが中心に位置するようにして配置する。例えば、解析ウィンドウは、５つのフレームから成る時間的幅を有することができ、このため、解析ウィンドウは、候補フレームが中心に位置するようにして配置されたときには、候補フレームの２つの先行する隣接フレームと、２つの後続する隣接フレームと、も含む。]
[0070] 相関器６２は、解析ウィンドウに含まれるフレームの対内の画像間における１次相互相関を計算する。このようにして、解析ウィンドウは、相関器６２が候補フレームに関するピクチャタイプを決定するために計算する１次相互相関数に制限を加える。一態様において、相関器６２は、フルフレーム画像間における１次相互相関を計算する。１次画像相互相関は、フレームの対間におけるグローバルな、すなわち全体的な、類似性及びグローバルな動きの量を識別するが、部分画像のより小さいスケールでフレーム内において生じた動きは識別しない。次に、相関器６２は、１次画像相互相関の対間における２次相互相関を計算する。]
[0071] 他の態様においては、相関器６２は、フレームの対内の部分画像の組間における１次相互相関を計算する。これらのフレームの各々のフレーム内の画像は、マクロブロック等の複数の部分画像に分割することができる。例えば、部分画像は、１６×１６、１６×８、８×１６、８×８又はそれよりも小さいピクセルブロックを備えることができる。次に、第１のフレームの部分画像の各々が共通の画像サイズにパディングされ、第２のフレームからのパディングされた部分画像と相互相関される。相関器６２は、フレームの対の各々に関して部分画像全部又はその一部におけるピーク部分画像相互相関値の平均を求めることによって１次相互相関を生成する。１次部分画像相互相関は、フレームの対間における部分画像の類似性及び動き量を識別し及びその動きがフレーム内のどこで生じたかを識別する。次に、相関器６２は、１次部分画像相互相関の対間における２次相互相関を計算する。]
[0072] 相関解析器６４は、相関器６２から１次相互相関及び２次相互相関を受信する。相関解析器６４は、１次相互相関に基づいて解析ウィンドウ内のフレーム間における映像遷移効果を検出する。映像遷移効果は、映像シーケンスの現在のシーンから同じ映像シーケンスの他のシーンに又は他の映像シーケンスの他のシーンに遷移するために用いられる視覚上の映像効果を意味する。例えば、相関解析器６４は、カットシーンの変化と、ショット境界と、フラッシュフレームと、部分的なシーンの変化とを含むコンパクトサポート映像効果を検出することができる。カットシーンは、同じ内容チャネルにおける内容の変化に起因して又はチャネル又はカメラの切り換えに起因して映像シーケンスが１つの映像シーンから異なる映像シーンに変化するときに生じることがある。部分的なシーンの変化は、フレーム構成の一部が１つのシーンから異なるシーンに変化し、フレーム構成の残りの部分が静的、例えば、境界、グラフィック及びテキストオーバーレイ、であるときに生じることがある。フラッシュフレームは、映像シーケンスが映像を記録時においてフラッシュ写真撮影法に起因してルミナンス値を瞬間的に変化させるときに生じることがある。]
[0073] 相関解析器６４は、クロスフェードとディゾルブとを含む拡張サポート映像効果を検出することもでき、ズームイン及びズームアウトに加えてフェードイン及びフェードアウトを特殊ケースとして含む。クロスフェードは、映像シーケンスが、内容の変化に起因して１つの映像シーンから異なる映像シーンに徐々に変化するときに生じることがあり、例えば、国の地域ごとに変化する天気図である。さらに、相関解析器６４は、カメラのパンとカメラのスクロールとを含むグローバルな動きの映像効果を検出することができる。カメラのパンは、映像シーケンスがビデオカメラの水平方向の動きに起因して１つの映像シーンから異なる映像シーンに徐々に変化するときに生じることができる。カメラのスクロールは、映像シーケンスが映像カメラの垂直方向の動きに起因して１つの映像シーンから異なる映像シーンに増分的に変化するときに生じることができる。]
[0074] 異なる映像遷移効果は、解析ウィンドウ内に含まれる候補フレームと隣接フレームとの間における画像データ及び画像ディテール（ｄｅｔａｉｌ）の繰り返しの異なるレベルを呈示し、従って、候補フレームに関して異なるピクチャタイプであることを意味する。例えば、候補フレーム内においてカットシーンの変化が生じた場合は、映像シーンが完全に変化するために候補フレームはＩピクチャとして符号化すべきである。候補フレーム内において部分的なシーンの変化が生じた場合は、候補フレームのうちで静的境界、グラフィック又はテキストオーバーレイを含む部分はＰスライスとして符号化することができ、候補フレームのうちで変化したアクティブな映像シーンを含む部分はＩスライスとして符号化することができる。候補フレーム内においてフラッシュフレーム、クロスフェード、ズームイン又はズームアウト、又はカメラのパン又はスクロールが生じた場合は、映像シーンは先行フレームそしておそらく後続するフレームに依存してわずかに又は徐々に変化するため、候補フレームはＰピクチャ又はＢピクチャのいずれかのピクチャとして符号化することができる。]
[0075] 相関解析器６４は、１次相互相関と２次相互相関との間における比較解析も行い、その比較解析に基づいて解析ウィンドウ内の隣接フレーム間における時間的類似性を決定する。時間的類似性は、解析ウィンドウ内に含まれる候補フレームと隣接フレームとの間における画像ディテールの繰り返しのレベルを意味する。時間的類似性の量は、候補フレームに関するピクチャタイプを意味する。例えば、候補フレームがいずれの先行する隣接フレームとも類似しないが、後続する隣接フレームと類似する場合は、候補フレームは、Ｉピクチャとして符号化すべきである。候補フレームが先行する隣接フレームに類似するが後続する隣接フレームに類似しない場合は、候補フレームは、Ｐピクチャとして符号化すべきである。候補フレームが先行する隣接フレーム及び後続する隣接フレームの両方に類似する場合は、それは、Ｐピクチャ又はＢピクチャとして符号化すべきである。この場合は、解析ウィンドウに含まれる隣接フレーム間における１次相互相関及び２次相互相関は、候補フレームをＰピクチャ又はＢピクチャのいずれのピクチャとして符号化すべきであるかを決定するのを助けることができる。例えば、先行する隣接フレームが後続する隣接フレームに類似する場合は、候補フレームは、Ｐピクチャとして符号化すべきである。]
[0076] ピクチャタイプ決定モジュール６６は、映像遷移効果情報及び時間的類似性情報を相関解析器６４から受信する。ピクチャタイプ決定モジュール６６は、解析ウィンドウ内において検出された映像遷移効果及び解析ウィンドウに含まれるフレーム間における時間的類似性に基づいて候補フレームに関するピクチャタイプを決定する。相関器６２が画像相互相関を計算する実装においては、ピクチャタイプ決定モジュール６６は、候補フレーム全体に関するピクチャタイプを決定することができる。相関器６２が部分画像相互相関を計算する実装においては、候補フレームは、複数のスライスに分割し、ピクチャタイプ決定モジュール６６が候補フレームの個々のスライスの各々に関するピクチャタイプを決定できるようにすることができる。]
[0077] 評価モジュール６８は、フレーム内容、レート−歪み向上特性、及び符号化帯域幅レジーム特性への依存性に基づいてピクチャタイプ決定モジュール６６の性能を測定する。評価モジュール６８は、ＧＯＰ構造内の決定されたＰピクチャ、Ｂピクチャ及びＩピクチャの数及び時間的位置に依存してコーディング利得モデル又はＰＳＮＲ向上モデルを利用することができる。ＰＳＮＲ向上モデルにおいて用いるために、決定されたピクチャタイプは、時間的予測のために利用可能な基準ピクチャの有効カウントの形で要約することができる。評価モジュール６８の出力は、相関に基づくＡＧＯＰ構造決定モジュール２２によるピクチャタイプの決定精度をさらに向上させるために用いることができる。評価モジュール６８の出力は、数値又はテーブルの形であることができる。評価モジュール６８は、相関に基づくＡＧＯＰ構造決定モジュール２２がリアルタイムコーディングデバイス内に実装される実装において特に役立つことができる（図２及び４）。] 図２
[0078] 映像データが基本層及び拡張層において、すなわちスケーラブルビデオコーディング（ＳＶＣ）のために、符号化される実装においては、相関に基づくＡＧＯＰ構造決定モジュール２２は、拡張層に基づいた基本層内におけるフレームタイプ決定の変更を可能にするための層化モジュール（図７に示されない）を含むことができる。例えば、基本層に含まれる一定のフレームタイプは、基本層と拡張層との間における帯域幅のバランス化を向上させることができる。従って、層化モジュールは、帯域幅のバランス化を向上させるために拡張層内のフレームタイプに基づいて基本層符号化内のフレームタイプを変更することができる。] 図７
[0079] 図８Ａ乃至８Ｃは、映像シーケンスに含まれるフレーム間における１次相互相関及び２次相互相関を示すグラフである。一態様においては、図７からの相関器６２は、解析ウィンドウ７０に含まれるフレームの対内の画像間におけるここにおいて説明される１次相互相関を計算する。他の態様においては、相関器６２は、解析ウィンドウ７０に含まれるフレームの対内における部分画像、例えばマクロブロック、の組間におけるここにおいて説明される１次相互相関を計算し、フレームの対の各々に関して部分画像全部又はその一部における相互相関の平均を求める。] 図７ 図８Ａ
[0080] 図８Ａは、図７からの解析ウィンドウ配置モジュール６０によるＧＯＰ構造内における解析ウィンドウの配置を示す。図８Ａに示されるように、解析ウィンドウ７０は、ＧＯＰ構造内において候補フレーム（ｆｋ）７２が中心に位置するようにして配置され、予め決められた数の隣接フレームを含む。例えば、解析ウィンドウ７０は、５つのフレームから成る予め決められた時間的幅を有し、このため、解析ウィンドウは、候補フレーム（ｆｋ）７２が中心に位置するようにして配置されたときには、候補フレーム（ｆｋ）７２の２つ先行する隣接フレーム（ｆｋ−１及びｆｋ−２）と２つの後続する隣接フレーム（ｆｋ＋１及びｆｋ＋２）とを同じく含む。このようにして、相関器６２は、解析ウィンドウ７０に含まれるフレーム間における１次相互相関を計算し、候補フレーム７２に関するピクチャタイプを決定する。換言すると、解析ウィンドウ７０の使用は、相関器６２がＧＯＰ構造に含まれる各フレームに関するピクチャタイプを決定するために計算する１次相互相関数に制限を設ける。] 図７ 図８Ａ
[0081] 図８Ｂは、解析ウィンドウ７０に含まれるフレーム間において相関器６２によって行われる１次相互相関計算を示す。相関器６２は、第１の先行する隣接フレーム（ｆｋ−１）と候補フレーム（ｆｋ）７２との間における第１の前方相互相関（Ｆ１）７４を計算する。次に、相関器６２は、第２の先行する隣接フレーム（ｆｋ−２）と候補フレーム（ｆｋ）７２との間における第２の前方相互相関（Ｆ２）７５を計算する。相関器６２は、第１の後続する隣接フレーム（ｆｋ＋１）と候補フレーム（ｆｋ）７２との間における第１の後方相互相関（Ｂ１）７６を計算する。次に、相関器６２は、第２の後続する隣接フレーム（ｆｋ＋２）と候補フレーム（ｆｋ）７２との間における第２の後方相互相関（Ｂ２）７７を計算する。相関器６２は、次に、第１の先行する隣接フレーム（ｆｋ−１）と第１の後続する隣接フレーム（ｆｋ＋１）との間における第１の対称的相互相関計算（Ｓ２）７８を計算する。次に、相関器６２は、第２の先行する隣接フレーム（ｆｋ−２）と第２の後続する隣接フレーム（ｆｋ＋２）との間における第２の対称的相互相関計算（Ｓ４）７９を計算する。] 図８Ｂ
[0082] 図８Ｃは、解析ウィンドウ７０内の１次相互相関間における相関器６２によって行われる２次相互相関計算を示す。相関器６２は、１次の第１の前方相互相関（Ｆ１）７４と１次の第１の後方相互相関（Ｂ１）７６との間における２次の第１の隣接相互相関（Ｏ１）８０を計算する。次に、相関器６２は、１次の第２の前方相互相関（Ｆ２）７５と１次の第２の後方相互相関（Ｂ２）７７との間における２次の第２の隣接相互相関（Ｏ２）８１を計算する。] 図８Ｃ
[0083] 幾つかの態様において、相関器６２は、図１及び３に示されるように、リアルタイムコーディングデバイスの外部のオフラインベンチマークとして相関に基づくＡＧＯＰ構造決定モジュール２２内において用いることができる。その場合は、相関器６２は、ここにおいて説明される１次相互相関及び２次相互相関を非リアルタイムで計算する。その他の態様においては、相関器６２は、図２及び４に示されるように、リアルタイムコーディングデバイスに実装された相関に基づくＡＧＯＰ構造決定モジュール２２内において用いることができる。幾つかの場合においては、複雑さ低減は、相関器６２が候補フレーム７２に関するピクチャタイプを決定するときに計算することができる相互相関数を制限することがある。例えば、解析ウィンドウ７０が５つのフレームに等しい時間的幅を有するときには、相関器６２は、３つの１次相互相関及び２つの２次相互相関しか計算することができない。例えば、相関器６２は、第１の前方相互相関（Ｆ１）７４、第１の対称的相互相関（Ｓ２）７８、第２の対称的相互相関（Ｓ４）７９、２次の第１の隣接フレーム相互相関（Ｏ１）８０、及び２次の第２の隣接相互相関（Ｏ２）８１を計算することができる。] 図１ 図２
[0084] 図９は、相関に基づくＡＧＯＰ構造決定モジュール２２に含まれる相関器６２の典型的実装を示すブロック図である。図９に示されるように、相関器６２Ａは、画像相互相関を行うための２次元高速フーリエ変換（２ＤＦＦＴ）に基づく計算を備える。相関器６２Ａは、映像シーケンスに含まれるフレームの対内の画像間における１次相互相関及び１次画像相互相関の対間における２次相互相関の両方を計算することができる。] 図９
[0085] 相関器６２Ａが１次画像相互相関を計算中であるときに、プリコンディショニング（ｐｒｅｃｏｎｄｉｔｉｏｎｉｎｇ）モジュール８２は、第１のフレーム内の画像を受信し、プリコンディショニングされた画像をフーリエ変換（ｆ）８４に提供する。同時に、プリコンディショニングモジュール８３は、第２のフレーム内の画像を受信し、プリコンディショニングされた画像を複素共役（Ｆ＊）フーリエ変換８５に提供する。第１のフレーム画像の変換及び第２のフレーム画像の複素共役変換は、乗算されて逆フーリエ変換（Ｆ−１）８８に提供される。次に、正規化器８９は、逆変換出力を正規化し、最大値（ｍａｘ）フィルタ９０は、第１のフレーム及び第２のフレーム内の画像間における正規化された１次相互相関の最大値を決定する。正規化された１次相互相関の最大値は、相関解析器６４によって用いるための特性値として保持される。]
[0086] 相関器６２Ａが２次相互相関を計算中であるときに、プリコンディショニングモジュール８２は、第１の対のフレームの間における１次画像相互相関を受信し、プリコンディショニングされた１次画像相互相関をフーリエ変換（Ｆ）８４に提供する。同時に、プリコンディショニングモジュール８３は、第２の対のフレームの間における１次画像相互相関を受信し、プリコンディショニングされた１次画像相互相関を複素共役（Ｆ＊）フーリエ変換（Ｆ）８５に提供する。第１の対のフレーム間における画像相互相関の変換及び第２の対のフレーム間における画像相互相関の複素共役変換が乗算され、逆フーリエ変換（Ｆ−１）８８に提供される。次に、正規化器８９は、逆変換出力を正規化し、最大値フィルタ９０は、フレームの第１の対とフレームの第２対との間における正規化された２次相互相関の最大値を決定する。正規化された２次画像相互相関の最大値は、相関解析器６４によって用いるための特性値として保持される。]
[0087] 図１０は、相関に基づくＡＧＯＰ構造決定モジュール２２に含まれる相関器６２の他の典型的実装を示すブロック図である。図１０に示されるように、相関器６２Ｂは、部分画像相互相関を行うための２次元（２ＤＦＦＴ）に基づく計算を備える。相関器６２Ｂは、映像シーケンスに含まれるフレームの対内の部分画像間における１次相互相関及び１次部分画像相互相関の対間における２次相互相関の両方を計算することができる。] 図１０
[0088] 相関器６２Ｂが１次部分画像相互相関を計算中であるときに、プリコンディショニングモジュール９２は、第１のフレーム内の部分画像、例えば一組のマクロブロック、を受信し、プリコンディショニングされた部分画像をフーリエ変換（Ｆ）９４に提供する。プリコンディショニングモジュール９２は、第１のフレーム内の部分画像にパディングして共通の画像サイズにする。同時に、プリコンディショニングモジュール９３は、第２のフレーム内の部分画像、例えば一組のマクロブロック、を受信し、プリコンディショニングされた部分画像を複素共役フーリエ変換（Ｆ＊）９５に提供する。プリコンディショニングモジュール９３は、第２のフレーム内の部分画像にパディングして共通の画像サイズにする。第１のフレームのパディングされた部分画像の変換及び第２のフレームのパディングされた部分画像の複素共役変換が乗算され、逆フーリエ変換（Ｆ−１）９８に提供される。次に、正規化器９９は、逆変換出力を正規化し、最大値フィルタ１００は、第１のフレーム内の部分画像と第２のフレーム内の部分画像との間における正規化された１次相互相関の最大値を決定する。次に、平均化モジュール１０２は、第１のフレーム内の部分画像の組内の部分画像全部又はその一部における正規化された相互相関の最大値の平均を求める。正規化された１次相互相関の平均された最大値は、相関解析器６４によって用いるための特性値として保持される。]
[0089] 相関器６２Ｂが２次相互相関計算を実行中であるときには、プリコンディショニングモジュール９２は、第１の対のフレーム間における１次画像相互相関サブセグメントを受信し、プリコンディショニングされた１次相互相関サブセグメントをフーリエ変換（Ｆ）９４に提供する。同時に、プリコンディショニングモジュール９３は、第２の対のフレーム間における１次相互相関サブセグメントを受信し、プリコンディショニングされた１次相互相関サブセグメントを複素共役（Ｆ＊）フーリエ変換９５に提供する。第１の対のフレーム間における１次相互相関サブセグメントの変換及び第２の対のフレーム間における１次相互相関サブセグメントの複素共役変換が乗算され、逆フーリエ変換（Ｆ−１）９８に提供される。次に、正規化器９９は、逆変換出力を正規化し、最大値フィルタ１００は、フレームの第１の対とフレームの第２の対との間における１次相互相関サブセグメント間における正規化された２次相互相関の最大値を決定する。正規化された２次相互相関の最大値は、相関解析器６４によって用いるための特性値として保持される。]
[0090] 図１１は、相関に基づくＡＧＯＰ構造決定モジュール２２に含まれる相関解析器６４の典型的実装を示すブロック図である。図１１に示されるように、相関解析器６４は、１次相関解析器１０４と、比較解析器１０６と、２次相関解析器１０８と、映像遷移効果検出器１１０と、を含む。映像遷移効果検出器１１０は、コンパクトサポートイベント検出器１１２と、拡張サポートイベント検出器１１４と、グローバルな動き検出器１１６と、を含む。] 図１１
[0091] 相関解析器６４は、１次相互相関及び２次相互相関を相関器６２から受信する。１次相関解析器１０４は、１次相互相関をコンパイルし、１次相互相関を映像遷移効果検出器１１０及び比較解析器１０６に提供する。２次相関解析器１０８は、２次相互相関をコンパイルし、２次相互相関を比較解析器１０６に適用する。]
[0092] 映像遷移効果検出器１１０は、１次相互相関に基づいて現在処理されているＧＯＰ構造のフレーム間における映像遷移効果を検出する。図１２乃至１４を参照して説明されるように、映像遷移効果検出器１１０は、コンパクトサポートイベント検出器１１２、拡張サポートイベント検出器１１４、及びグローバルな動き検出器１１６を介して映像特殊効果の識別に基づいて映像遷移効果を検出する。より具体的には、コンパクトサポートイベント検出器１１２は、カットシーンの変化のフィンガープリント（ｆｉｎｇｅｒｐｒｉｎｔ）、フラッシュフレームのフィンガープリント、及び部分的なシーンの変化のフィンガープリントを１次相互相関から識別する。拡張サポートイベント検出器１１４は、フェードインとフェードアウトを含むクロスフェードフィンガープリント、及びズームイン及びズームアウトフィンガープリントを１次相互相関から識別する。グローバルな動き検出器１１６は、カメラのパンのフィンガープリント及びカメラのスクロールのフィンガープリントを１次相互相関から識別する。フィンガープリントは、ここにおいては、一定の映像遷移効果に一意でマッチングされたマッチドフィルタからの特定の応答を意味すると定義され、このためその特定の応答の検出は、関連づけられた映像遷移効果の検出に相当する。] 図１２
[0093] 映像遷移効果検出器１１０は、検出された映像遷移効果をピクチャタイプ決定モジュール６６に出力する（図７）。例えば、候補フレーム７２においてカットシーンの変化が生じた場合は、映像シーンが完全に変化するため候補フレーム７２はＩピクチャとして符号化すべきである。候補フレーム７２において部分的なシーンの変化が生じた場合は、候補フレーム７２のうちで静的な境界、グラフィック又はテキストオーバーレイを含む部分は、Ｐスライスとして符号化することができ、候補フレーム７２のうちで変化したアクティブな映像シーンを含む部分は、Ｉスライスとして符号化することができる。候補フレームにおいてフラッシュフレーム、クロスフェード、ズームイン、ズームアウト、カメラのパン又はスクロールが生じた場合は、映像シーンは先行フレームそしておそらく後続フレームに依存してわずかに又は徐々に変化するため、候補フレーム７２はＰピクチャ又はＢピクチャとして符号化することができる。] 図７
[0094] 比較解析器１０６は、１次相互相関と２次相互相関との間における比較解析を行う。次に、比較解析器１０６は、その比較解析に基づいて解析ウィンドウ７０内の隣接フレーム間における時間的類似性を決定する。比較解析を行うときには、比較解析器１０６は、フレーム間における相関のレベルを比較し、候補フレーム７２が先行及び後続する両方の隣接フレームとどの程度類似するか、及び隣接フレームが互いにどの程度類似するかを決定する。次に、比較解析器１０６は、時間的類似性をピクチャタイプ決定モジュール６６に出力する（図７）。例えば、候補フレーム７２が後続する隣接フレームとよく相関するが先行する隣接フレームとはよく相関しない、すなわち、第１の前方相関７４が低く、第１の後方相互相関７６が高い、場合は、候補フレーム７２は、先行フレームと関連性がなく及び後続フレームの基準として働くＩピクチャとして符号化すべきである。他の例として、候補フレーム７２が後続する隣接フレーム及び先行する隣接フレームの両方とよく相関する場合は、候補フレーム７２は、Ｐピクチャ又はＢピクチャのいずれかとして符号化すべきである。しかしながら、後続する隣接フレームが先行する隣接フレームとよく相関する、すなわち、第１の対称的相関７８が高い、場合は、候補フレーム７２は、Ｐピクチャとして符号化することができる。] 図７
[0095] 図１２は、図１１からの相関解析器６４に含まれる映像遷移効果検出器１１０の一部としてのコンパクトサポートイベント検出器１１２を示すブロック図である。コンパクトサポートイベント検出器１１２は、マッチドフィルタバンクを利用して、１次相互相関解析器１０４の出力内のコンパクトサポート映像効果と関連づけられたフィンガープリントを検出することができる。コンパクトサポート映像効果は、カットシーンの変化と、部分的なシーンの変化と、フラッシュフレームと、を含む。例えば、カットシーンの変化は、映像シーンの内容が同じチャネル上での内容の変化に起因して又はチャネル切り換えに起因して１つの映像シーンから異なる映像シーンに瞬時に変化するときに生じる可能性がある。部分的なシーンの変化は、映像シーケンス内のフレーム内容の一部が１つの映像シーンから異なる映像シーンに変化し、映像シーケンス内のフレーム内容の残りの部分が静的、すなわち、境界、グラフィック又はテキストオーバーレイ、であるときに生じることがある。フラッシュフレームは、映像シーケンスの内容が映像を記録時においてフラッシュ写真撮影法に起因してルミナンス値を瞬間的に変化させるときに生じることがある。] 図１１ 図１２
[0096] 図１２に示される例においては、コンパクトサポートイベント検出器１１２は、図６からの１次の第１の前方相互相関（Ｆ１）７４、１次の第１の対称的相互相関（Ｓ２）７８、及び１次の第２の対称的相互相関（Ｓ４）７９の出力を利用する。コンパクトサポートイベント検出器１１２は、１次相互相関出力の各々を、非線形ハイパスフィルタ１２０Ａ乃至１２０Ｃのうちの専用の非線形ハイパスフィルを通過させる。非線形ハイパスフィルタ１２０Ａ乃至１２０Ｃの各々の非線形ハイパスフィルタの出力は、カットシーン変化マッチドフィルタ１２２及びフラッシュフレームマッチドフィルタ１２４の両方に入力される。] 図１２ 図６
[0097] カットシーン変化マッチドフィルタ１２２は、カットシーンの変化の予想されるフィンガープリントに類似する１次相互相関の出力に含まれる時系列上の特徴を分離する。例えば、カットシーンの変化のフィンガープリントは、図１７において特徴１８０によって示されるように、映像シーンの完全な変化に起因するフレーム間における低相関の単一のディップ（ｄｉｐ）を備える。コンパクトサポートイベント検出器１１２は、いずれの特徴がカットシーンの変化のフィンガープリントを備えるかを正確に識別するためにカットシーン変化マッチドフィルタ１２２の出力をスレショルド比較器１２３に提供する。スレショルド比較器１２３は、カットシーン変化マッチドフィルタ１２２によって分離された特徴を、予め決められた値、例えば０．２９、に設定されたスレショルド値（Ｔｃｓｃ）と比較する。コンパクトサポートイベント検出器１１２は、スレショルド値よりも大きいマッチドフィルタ応答を有する特徴の位置におけるカットシーンの変化を検出する。次に、スレショルド比較器１２３は、カットシーンの変化が検出された場合はブール出力（Ｂｃｓｃ）を１に設定し、カットシーンの変化が検出されない場合は０に設定する。] 図１７
[0098] コンパクトサポートイベント検出器１１２は、カットシーン変化マッチドフィルタ１２２及びスレショルド比較器１２３を用いることによって部分的なシーンの変化を検出することもできる。図１８の特徴１８４によって示されるように、部分的なシーンの変化のフィンガープリントは、カットシーンの変化のフィンガープリントに実質的に類似する単一のディップを備えるが、映像シーンの静的部分に起因してより高い相関を有する。部分的なシーンの変化のフィンガープリントの相対的に小さいディップは、コンパクトサポートイベント検出器１１２によって検出されるような十分に大きいカットシーン変化マッチドフィルタ１２２からの応答をトリガすることができない。スレショルド比較器１２３に入力されたスレショルド値（Ｔｃｓｃ）は、部分的なシーンの変化の検出を可能にするために引き下げることができるが、これは、コンパクトサポート映像効果を不正確に検出する尤度を上昇させることによってさらなる精度上の問題、すなわち、誤ったアラーム率の増大、を引き起こす可能性がある。代わりに、相関器６２は、静的境界の検出を行って静的境界の存在を識別すること、及び映像シーンのアクティブな部分に対応する部分画像間における１次相互相関を計算することができる。このようにして、静的な境界を有するアクティブな映像シーンのみの完全な変化は、カットシーンの変化のフィンガープリントに相当するフィンガープリントを提示することができる。] 図１８
[0099] フラッシュフレームマッチドフィルタ１２４は、フラッシュフレームの予想されるフィンガープリントに類似する１次相互相関の出力に含まれる時系列の特徴を分離する。例えば、フラッシュフレームのフィンガープリントは、図１７において特徴１８２によって示されるように、映像シーン内でのルミナンス値の変化に起因するフレーム間におけるより低い相関の連続的ディップを備える。コンパクトサポートイベント検出器１１２は、いずれの特徴がフラッシュフレームのフィンガープリントを備えるかを正確に識別するためにフラッシュフレームマッチドフィルタ１２４の出力をスレショルド比較器１２５に提供する。スレショルド比較器１２５は、フラッシュフレームマッチドフィルタ１２４によって分離された特徴を、予め決められた値、例えば０．２０、に設定されたスレショルド値（ＴＦＦ）と比較する。コンパクトサポートイベント検出器１１２は、スレショルド値よりも大きいマッチドフィルタ応答を有する特徴位置におけるフラッシュフレームを検出する。次に、スレショルド比較器１２５は、フラッシュフレームが検出された場合はブール出力（ＢＦＦ）を１に設定し、フラッシュフレームが検出されない場合は０に設定する。] 図１７
[0100] 図１３は、図１１からの相関解析器６４に含まれる映像遷移効果検出器１１０の一部としての拡張サポートイベント検出器１１４を示すブロック図である。拡張サポートイベント検出器１１４は、多解像度解析を利用し、１次相互相関解析器１０４の出力内の拡張サポート映像効果と関連づけられたフィンガープリントを検出する。拡張サポート映像効果は、クロスフェードと、フェードインと、フェードアウトと、ズームと、を含む。例えば、クロスフェードは、映像シーケンスが、内容の変化に起因して１つの映像シーンから異なる映像シーンに徐々に変化するときに生じることがあり、例えば、国の地域ごとに変化する天気図である。] 図１１ 図１３
[0101] 図１３に示される例において、拡張サポートイベント検出器１１４は、図６からの１次の第１の前方相互相関（Ｆ１）７４、１次の第１の対称的相互相関（Ｓ２）７８、及び１次の第２の対称的相互相関（Ｓ４）７９の出力を利用する。拡張サポートイベント検出器１１４は、１次相互相関出力の各々を、非線形ローパスフィルタ１２６Ａ乃至１２６Ｃのうちの専用の非線形ローパスフィルを通過させる。非線形ローパスフィルタ１２６Ａ乃至１２６Ｃの各々の非線形ローパスフィルタの出力は、多解像度解析器１２８Ａ乃至１２８Ｃのうちの専用の多解像度解析器に入力される。多解像度解析器１２８Ａ乃至１２８Ｃは、クロスフェード又はズームの予想されるフィンガープリントに類似する１次相互相関の出力に含まれる特徴を識別する。例えば、クロスフェードフィンガープリントは、図１９の特徴１８６によって示されるように、映像シーンの漸進的な変化に起因するフレーム間における低相関の１つのノッチ（ｎｏｔｃｈ）を備える。多解像度解析器１２８Ａ乃至１２８Ｃは、統一された形での、大きく変動する継続時間を有する特徴の検出及びその実際の継続時間の決定を可能にする。] 図１３ 図１９ 図６
[0102] 拡張サポートイベント検出器１１４は、いずれの特徴がクロスフェード又はズームのフィンガープリントを備えるかを正確に識別するために多解像度解析器１２８Ａ乃至１２８Ｃの出力を構造化有意ピーク解析器（ｓｔｒｕｃｔｕｒｅｄ ｓｉｇｎｉｆｉｃａｎｔ ｐｅａｋ ａｎａｌｙｚｅｒ）１３０に加える。構造化有意ピーク解析器１３０は、多解像度解析器１２８Ａ乃至１２８Ｃの各々によって識別された特徴を結合し、１次相互相関の出力の各々における低相関のノッチが特定の順序で時間的に整合されるかどうかを決定する。拡張サポートイベント検出器１１４は、１次相互相関のノッチが互いに時間的に整合される場合にクロスフェードであると決定することができる。さらに、これらのノッチの最低値は、望ましくは、１次の第２の対称的相互相関（Ｓ４）７９よりも大きい１次の第１の対称的相互相関（Ｓ２）７８よりも大きい１次の第１の前方相互相関（Ｆ１）７４として順序を設定すべきである。]
[0103] 図１４は、図１１からの相互相関解析器６４に含まれる映像遷移効果検出器１１０の一部分としてのグローバルな動き検出器１１６を示すブロック図である。グローバルな動き検出器１１６は、１次相互相関解析器１０４の出力内におけるグローバルな動きと関連づけられたフィンガープリントを検出するためにグローバル変位推定値を利用する。グローバルな動きの映像効果は、カメラのパンと、カメラのスクロールと、映像シーン全体に影響を及ぼすその他の並進的動きと、を含む。例えば、カメラのパンは、映像シーケンスがビデオカメラの水平方向の動きに起因して１つの映像シーンから異なる映像シーンに徐々に変化するときに生じる可能性がある。カメラのスクロールは、映像シーケンスがビデオカメラの垂直方向の動きに起因して１つの映像シーンから異なる映像シーンに徐々に変化するときに生じる可能性がある。] 図１１ 図１４
[0104] 図１４に示される例において、グローバルな動き検出器１１６は、図６からの１次の第１の前方相互相関（Ｆ１）７４、１次の第１の対称的相互相関（Ｓ２）７８、及び１次の第２の対称的相互相関（Ｓ４）７９の出力を利用する。グローバルな動き検出器１１６は、１次相互相関出力の各々を、最大値位置フィルタ（ｍａｘ ｌｏｃａｔｉｏｎ ｆｉｌｔｅｒ）１３２Ａ乃至１３２Ｃのうちの専用の最大値位置フィルタを通過させる。最大値位置フィルタ１３２Ａ乃至１３２Ｃは、カメラのパン及びカメラのスクロールの予想されるフィンガープリントに類似する１次相互相関の出力に含まれる特徴を識別する。例えば、カメラのパンのフィンガープリントは、図２０Ａにおいて特徴１８８によって示されるように、映像シーンの漸進的な変化に起因する、最大相互相関値位置の、原位置からの常に存在する有意な水平方向のシフト、を備える。カメラのスクロールのフィンガープリントは、図２０Ｂにおいて特徴２００によって示されるように、映像シーンの漸進的な変化に起因する、最大相関値位置の、原位置からの常に存在する有意な垂直方向のシフト、を備える。最大値位置フィルタ１３２Ａ乃至１３２Ｃは、各々が、関連づけられた１次相互相関の時間的距離における水平変位推定値（ｈ）及び垂直変位推定値（ｖ）を出力する。] 図１４ 図２０Ａ 図２０Ｂ 図６
[0105] しかしながら、圧縮アーティファクト、例えばリンギング及びブラー、は、１次相互相関からの変位推定値の精度を低下させる。従って、グローバルな動き検出器１１６は、圧縮アーティファクトの劣化を引き起こす雑音のような影響に対して水平変位推定値及び垂直変位推定値を平滑化するために多チャネル統合（ｆｕｓｉｏｎ）モジュール１３４を利用する。さらに、コンパクトサポート映像効果及び拡張サポート映像効果は、グローバルな動きの変位推定を遮断することがあり、それが異常な変位推定値に結び付く可能性がある。多チャネル統合モジュール１３４は、検出されたコンパクトサポート映像効果及び拡張サポート映像効果全体における変位推定値の非線形の平滑化を行うことによってこの効果を低減又は除去することができる。]
[0106] 図１４に示されるように、多チャネル統合モジュール１３４は、異なる変位推定値と関連づけられた異なる時間的距離を補償するための時間的距離２における変位推定値のための１／２の重みと、時間的距離４における変位推定値のための１／４の重みと、を含む。多チャネル統合モジュール１３４は、異なる時間的距離における変位推定値のエンファシス（ｅｍｐｈａｓｉｓ）を等化するための、変位推定値の各々のための均一の重み（例えば１／３）１３６Ａ乃至１３５Ｃも含む。その他の態様においては、多チャネル統合モジュール１３４は、選択された時間的距離における変位推定値を強調するための不均一な重みを用いることができる。最後に、多チャネル統合モジュール１３４は、時間的距離の各々からの重み付きの水平変位推定値を加算することによって単一の平滑化された水平変位推定値を生成する水平加算器１４２を含む。多チャネル統合モジュール１３４は、時間的距離の各々からの垂直変位推定値を加算することによって単一の平滑化された垂直変位推定値を生成する垂直加算器１４４も含む。] 図１４
[0107] 図１５は、画像相互相関に基づいて映像シーケンスに含まれるフレームに関するピクチャタイプを決定する相関に基づくＡＧＯＰ構造決定モジュール２２の典型的動作を示すフローチャートである。図１５のフローチャートは、図７の相関に基づくＡＧＯＰ構造決定モジュール２２、図８Ａ乃至８Ｃの解析ウィンドウ、及び図１１の相関解析器６４に関連して説明される。] 図１１ 図１５ 図７ 図８Ａ
[0108] 解析ウィンドウ配置モジュール６０は、ＧＯＰ構造内において、解析ウィンドウ７０を、候補フレームｆｋ、７２が中心に位置するようにして配置し、先行する隣接フレーム（ｆｋ−１及びｆｋ−２）と後続する隣接フレーム（ｆｋ＋１及びｆｋ＋２）とを含む（１５０）。相関器６２は、解析ウィンドウ７０に含まれるフレームの対内の画像間における１次相互相関を計算する（１５２）。１次相互相関は、該画像のピクセル領域データに関して行われる。この態様において、相関器６２は、フルフレーム画像間における１次相互相関を計算する。図８Ｂを参照して上述されるように、１次相互相関は、第１の前方相互相関７４と、第２の前方相互相関７５と、第１の後方相互相関７６と、第２の後方相互相関７７と、第１の対称的相互相関７８と、第２の対称的相互相関７９と、を含むことができる。１次画像相互相関は、フレームの対間におけるグローバルな、すなわち全体的な、類似性及びグローバルな動きの量を識別するが、部分画像のより小さいスケールでフレーム内において生じた動きは識別しない。次に、相関器６２は、１次画像相互相関の対間における２次相互相関を計算する（１５４）。図８Ｃを参照して上述されるように、２次相互相関は、第１の隣接相互相関８０と、第２の隣接相互相関８１とを含むことができる。] 図８Ｂ 図８Ｃ
[0109] 相関解析器６４は、１次相互相関及び２次相互相関を相関器６２から受信する。１次相互相関解析器１０４は、１次相互相関をコンパイルし、１次相互相関を映像遷移効果検出器１１０及び比較解析器１０６に提供する。２次相互相関解析器１０８は、２次相互相関をコンパイルし、２次相互相関を比較解析器１０６に提供する。]
[0110] 映像遷移効果検出器１１０は、１次相互相関に基づいて現在処理されているＧＯＰ構造内のフレーム間における映像遷移効果を検出する（１５６）。図１０乃至１２を参照して説明されるように、映像遷移効果検出器１１０は、コンパクトサポートイベント検出器１１２、拡張サポートイベント検出器１１４、及びグローバルな動き検出器１１６を介して映像効果の識別に基づいて映像遷移効果を検出する。より具体的には、コンパクトサポートイベント検出器１１２は、１次相互相関からカットシーンの変化のフィンガープリント、フラッシュフレームのフィンガープリント、及び部分的なシーンの変化のフィンガープリントを識別する。拡張サポートイベント検出器１１４は、１次相互相関からのフェードインフィンガープリントとフェードアウトフィンガープリントを含むクロスフェードフィンガープリント、及びズームインフィンガープリント及びズームアウトフィンガープリントを識別する。グローバルな動き検出器１１６は、カメラのパンのフィンガープリント及びカメラのスクロールのフィンガープリントを識別する。] 図１０
[0111] 比較解析器１０６は、１次相互相関と２次相互相関との間における比較解析を行う。次に、比較解析器１０６は、その比較解析に基づいて解析ウィンドウ７０内の隣接フレーム間における時間的類似性、その強度及び性質を決定する（１５８）。比較解析を行うときには、比較解析器１０６は、フレーム間における相関のレベルを比較し、候補フレーム７２が隣接フレームとどの程度類似するか、及び隣接フレームが互いにどの程度類似するかを決定する。]
[0112] ピクチャタイプ決定モジュール６６は、映像遷移効果検出器１１０から映像遷移効果情報を及び比較解析器１０６から時間的類似性情報を受信する。次に、ピクチャタイプ決定モジュール６６は、解析ウィンドウ７０内において検出された映像遷移効果及び解析ウィンドウ７０に含まれるフレーム間における時間的類似性に基づいて候補フレーム７２に関するピクチャタイプを決定する（１６０）。]
[0113] 図１６は、部分画像相互相関に基づいて映像シーケンスに含まれるフレームに関するピクチャタイプを決定する相関に基づくＡＧＯＰ構造決定モジュール２２の典型的動作を示すフローチャートである。図１６のフローチャートは、図７の相関に基づくＡＧＯＰ決定モジュール２２、図８Ａ乃至８Ｃの解析ウィンドウ、及び図１１の相関解析器６４に関連して説明される。] 図１１ 図１６ 図７ 図８Ａ
[0114] 解析ウィンドウ配置モジュール６０は、ＧＯＰ構造内において、解析ウィンドウ７０を、候補フレームｆｋ、７２が中心に位置するようにして配置し、先行する隣接フレーム（ｆｋ−１及びｆｋ−２）と後続する隣接フレーム（ｆｋ＋１及びｆｋ＋２）とを含む（１６４）。相関器６２は、解析ウィンドウ７０に含まれるフレームの対内の部分画像の組間における１次相互相関を計算する（１６６）。部分画像１次相互相関は、該部分画像のピクセル領域データに関して行われる。これらのフレームの各々のフレーム内の画像は、複数の部分画像、例えばマクロブロック、に分割することができる。第１のフレームの部分画像の各々は、共通の画像サイズになるようにパディングされ、第２のフレームの部分画像と相互相関される。例えば、部分画像は、６４×６４画像になるようにパディングされた１６×１６マクロブロックを備えることができる。相関器６２は、フレームの対の各々に関して部分画像全部又はその一部におけるピークの、すなわち最大の、部分画像相互相関値の平均を求めることによって１次相互相関を生成する（１６８）。１次部分画像相互相関は、フレームの対間における部分画像の類似性及び動き量を識別し及びその動きがフレーム内のどこで生じたかを識別する。次に、相関器６２は、１次部分画像相互相関の対間における２次相互相関を計算する（１７０）。]
[0115] 相関解析器６４は、１次相互相関及び２次相互相関を相関器６２から受信する。１次相関解析器１０４は、１次相互相関をコンパイルし、１次相互相関を映像遷移効果検出器１１０及び比較解析器１０６に提供する。２次相関解析器１０８は、２次相互相関をコンパイルし、２次相互相関を比較解析器１０６に提供する。映像遷移効果検出器１１０は、１次相互相関に基づいて現在処理されているＧＯＰ構造内のフレーム間における映像遷移効果を検出する（１７２）。比較解析器１０６は、１次相互相関と２次相互相関との間における比較解析を行う。次に、比較解析器１０６は、その比較解析に基づいて解析ウィンドウ７０内の隣接フレーム間における時間的類似性、その強度及び性質を決定する（１７４）。]
[0116] ピクチャタイプ決定モジュール６６は、映像遷移効果検出器１１０から映像遷移効果情報を及び比較解析器１０６から時間的類似性情報を受信する。候補フレーム７２は、複数のスライスに分割することができ、このため、ピクチャタイプ決定モジュール６６は、解析ウィンドウ７０内において検出された映像遷移効果及び解析ウィンドウ７０に含まれるフレーム間における時間的類似性に基づいて候補フレーム７２の個々のスライスの各々に関するピクチャタイプを決定することができる（１７６）。]
[0117] 図１７は、図１２からのコンパクトサポートイベント検出器１１２の出力を示す作図であり、カットシーンの変化のフィンガープリント１８０とフラッシュフレームのフィンガープリント１８２とを含む。カットシーンの変化は、映像シーンの内容が、同じチャネル上での内容の変化に起因して、例えば選択されたカメラフィード（ｆｅｅｄ）の変化に起因して又はチャネル切り換えに起因して、１つの映像シーンから異なる映像シーンに変化するときに生じることがある。従って、カットシーンの変化のフィンガープリント１８０は、映像シーンの完全な変化に起因するフレーム間における低相関の単一のディップを備える。フラッシュフレームは、映像シーケンスが映像を記録時においてフラッシュ写真撮影法に起因してルミナンス値を瞬間的に変化させるときに生じることがある。従って、フラッシュフレームのフィンガープリント１８２は、映像シーケンス内におけるルミナンス値の変化に起因するフレーム間におけるより低い相関の連続ディップを備える。これらの連続ディップは、フラッシュによって誘発された増大した輝度が映像シーケンスにおいて現れて消えることによって生成される。フラッシュフレームの場合は、カットシーンの変化の単一の変化と比較して２つの変化が非常に短時間のフレームにおいて実効的に生じる。] 図１２ 図１７
[0118] 図１８は、図１２からのコンパクトサポートイベント検出器１１２の出力を示す作図であり、部分的なシーンの変化のフィンガープリント１８４を含む。部分的なシーンの変化は、映像シーケンスフレームの内容の一部が、１つの映像シーンから異なる映像シーンに変化し、映像シーケンスフレームの内容の残りの部分、例えば、境界及びグラフィック及びテキストのオーバーレイ、が静的であるときに生じることがある。従って、部分的なシーンの変化のフィンガープリント１８４は、カットシーンの変化のフィンガープリント１８０に実質的に類似するが映像シーンの静的部分に起因してより高い相関を有する単一ディップを備える。] 図１２ 図１８
[0119] 図１９は、図１３からの拡張サポートイベント検出器１１４の出力を示す作図であり、クロスフェードのフィンガープリント１８６を含む。クロスフェードは、映像シーケンスフレームの内容が、内容の変化に起因して１つの映像シーンから異なる映像シーンに徐々に変化するときに生じることがあり、例えば、国の地域ごとに変化する天気図である。従って、クロスフェードのフィンガープリント１８６は、フレーム間における低相関のノッチ（ｎｏｔｃｈ）を備え、このため、異なる相互相関時系列におけるこれらのノッチは、映像シーンの漸進的な変化に起因して特定の順序で時間的に整合される。] 図１３ 図１９
[0120] 図２０Ａ及び２０Ｂは、グローバルな動きの検出器１１６の出力を示す作図であり、カメラのパンのフィンガープリント１８８とカメラのスクロールのフィンガープリント２００とを含む。カメラのパンは、映像シーケンスフレームの内容が、ビデオカメラの水平方向の動きに起因して１つの映像シーンから異なる映像シーンに徐々に変化するときに生じることがある。図１８Ａにおいて示されるように、カメラのパンのフィンガープリント１８８は、映像シーンの漸進的なグローバルな並進的変化に起因する、検出された動きの水平成分の、０値からの常に存在する有意なシフト又は偏差、すなわち、最大相関値位置の、原位置からの常に存在する有意な水平方向のシフト、を備える。該シフトの量は、動き量及び時間的距離、すなわち、特定の１次相互相関時系列、に依存し、これらのシフトは、観測されるか又は推定される。図２０Ａにおいて、１フレーム間隔、２フレーム間隔及び４フレーム間隔のそれぞれ時間的距離において、約−１．５ピクセル、−３ピクセル、及び−６ピクセルの平均シフトを観測することができる。] 図１８Ａ 図２０Ａ
[0121] カメラのスクロールは、映像シーケンスフレームの内容が、ビデオカメラの垂直方向の動きに起因して１つの映像シーンから異なる映像シーンに徐々に変化するときに生じることがある。図２０Ｂにおいて示されるように、カメラのスクロールのフィンガープリント２００は、映像シーンの漸進的なグローバルな並進的変化に起因する、検出された動きの垂直成分の、０値からの常に存在する有意なシフト又は偏差、すなわち、相互相関ピーク位置の、原位置からの常に存在する有意な垂直方向のシフト、を備える。該シフトの量は、動き量及び時間的距離、すなわち、特定の１次相互相関時系列、に依存し、これらのシフトは、観測されるか又は推定される。図２０Ｂにおいて、例えば、フレームインデックス１０乃至１６の周囲において観測された最も初期のディップ、すなわち、０からのマイナス（ｎｅｇａｔｉｖｅ）の偏差、は、１フレーム間隔、２フレーム間隔及び４フレーム間隔のそれぞれの時間的距離における約−１ピクセル、−２ピクセル、及び−４ピクセルの平均シフトに対応する。この時間間隔中に、ビデオカメラは、おそらく短時間の揺れに起因する突然の短時間の垂直変位を経験している。] 図２０Ｂ
[0122] この開示の技法は、映像シーケンスに含まれる複数のフレームの各々に関するピクチャタイプを前記フレーム間における相互相関に基づいて決定することを対象とする。より具体的には、これらの技法は、ＧＯＰ構造に含まれるフレームに関するピクチャタイプを前記フレーム間における相互相関に基づいて好適に決定することを対象とする。相互相関は、映像シーケンスに含まれるフレームの対内の画像情報間における１次相互相関と、１次相互相関の対間における２次相互相関と、を含む。１次相互相関は、解析してフレーム間における映像遷移効果を検出することができる。１次相互相関及び２次相互相関は、比較解析して隣接フレーム間における時間的類似性を決定することができる。従って、相関に基づく決定技法は、映像遷移効果及び時間的類似性に基づいてフレームに関するピクチャタイプを決定する。]
[0123] 相関に基づく決定技法は、フレームの対内の画像間における、又は、フレームの対内の部分画像、例えばマクロブロック、の組間における１次相互相関を計算することができ、これらのフレームの対の統計値、例えば最大値、は、フレームの対の各々に関して部分画像全部又はその一部における平均が求められる。ここにおいて説明される技術は、効率的なフレーム間圧縮及びフレーム内圧縮を提供する符号化規格、例えばＩＴＵ−Ｔ Ｈ．２６４、を用いた映像データの再符号化のためにトランスコーダによって利用される相関に基づくＡＧＯＰ構造決定モジュール内において実行することができる。一態様において、相関に基づくＡＧＯＰ構造決定モジュールは、リアルタイムトランスコーダに実装されたその他のＡＧＯＰ構造決定方法を比較することができる基準となるオフラインのベンチマークとして用いることができる。他の態様においては、該当する複雑さ低減を有する相関に基づくＡＧＯＰ構造決定モジュールは、リアルタイムトランスコーダに実装することができる。他の態様においては、相関に基づくＡＧＯＰ構造決定モジュールは、効率的なフレーム間圧縮及びフレーム内圧縮を提供する符号化規格、例えばＩＴＵ−Ｔ Ｈ．２６４、を用いた以前に圧縮されなかった生映像データの符号化のために単一パス又は複数パスの、リアルタイム又は非リアルタイムの映像符号器において利用することができる。]
[0124] ここにおいて説明される技法は、ハードウェア、ソフトウェア、ファームウェア、又はその組み合わせにおいて実装することができる。該技法は、様々なデバイス、例えば、無線通信デバイスハンドセット及びその他のデバイスにおける用途を含む複数の用途を有する汎用コンピュータ、無線通信デバイスハンドセット、又は集積回路デバイス、のうちのいずれかにおいて実装することができる。モジュール又は構成要素として説明される特徴は、統合された論理デバイス内においてまとめて実装すること又は個別のただし相互運用可能な論理デバイスとして別々に実装することができる。ハードウェア内に実装される場合は、これらの技法は、デジタルハードウェア、アナログハードウェア又はその組み合わせを用いて実現させることができる。ソフトウェア内に実装される場合は、これらの技法は、少なくとも部分的には、コンピュータプログラム製品のコンピュータによって読み取り可能な媒体における１つ以上の格納された又は送信された命令又は符号によって実現させることができる。コンピュータによって読み取り可能な媒体は、コンピュータ記憶媒体、通信媒体、又は両方を含むことができ、１つの場所から他の場所へのコンピュータプログラムの転送を容易にするあらゆる媒体を含むことができる。記憶媒体は、コンピュータによってアクセス可能などのような利用可能な媒体であってもよい。コンピュータプログラム製品は、パッケージング材料を含むことができる。]
[0125] 一例として、及び制限することなしに、該コンピュータによって読み取り可能な媒体は、ＲＡＭ、例えば同期的ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、非揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマブル読み取り専用メモリＰＲＯＭ、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、ＣＤ−ＲＯＭ又はその他の光学ディスクストレージ、磁気ディスクストレージ又はその他の磁気記憶デバイス、又は、命令又はデータ構造の形態で希望されるプログラムコードを搬送又は格納するために用いることができ及びコンピュータによってアクセス可能なその他のあらゆる媒体、を備えることができる。]
[0126] さらに、いずれの接続も、コンピュータによって読み取り可能な媒体と適切に呼ばれる。例えば、ソフトウェアが、ネットワークケーブル、同軸ケーブル、光ファイバーケーブル、より対線、デジタル加入者ライン（ＤＳＬ）、又は無線技術、例えば、赤外線、無線、及びマイクロ波、を用いてウェブサイト、サーバ、又はその他の遠隔ソースから送信される場合は、該ネットワークケーブル、同軸ケーブル、光ファイバーケーブル、より対線、ＤＳＬ、又は無線技術、例えば赤外線、無線、及びマイクロ波、は、媒体の定義の中に含まれる。ここにおいて用いられるときのディスク（ｄｉｓｋ及びｄｉｓｃ）は、コンパクトディスク（ＣＤ）（ｄｉｓｃ）と、レーザディスク（ｄｉｓｃ）と、光ディスク（ｄｉｓｃ）と、デジタルバーサタイルディスク（ＤＶＤ）（ｄｉｓｃ）と、フロッピー（登録商標）ディスク（ｄｉｓｋ）と、ブルーレイディスク（ｄｉｓｃ）と、を含み、ここで、ｄｉｓｋは通常は磁気的にデータを複製し、ｄｉｓｃは、例えばレーザを用いて光学的にデータを複製する。上記の組合せも、コンピュータによって読み取り可能な媒体の適用範囲に含めるべきである。]
[0127] コンピュータプログラム製品のコンピュータによって読み取り可能な媒体と関連づけられた符号は、コンピュータによって、例えば１つ以上のプロセッサ、例えば、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ、フィールドプログラマブルロジックアレイ、ＦＰＬＡとも呼ばれる）、又はその他の同等の集積回路又は個別論理回路、によって実行することができる。幾つかの態様においては、ここにおいて説明される機能は、符号化及び復号のために構成された、又は結合された映像符号器−復号器（ＣＯＤＥＣ）内に組み込まれた、専用のソフトウェアモジュール又はハードウェアモジュール内において提供することができる。]
[0128] しかしながら、以下の請求項の適用範囲を逸脱することなしに様々な修正を説明される技法に対して加えることができる。]

权利要求:

請求項1
方法であって、映像シーケンスに含まれるフレームの対内の画像情報間における１次相互相関を計算することと、前記１次相互相関の対間における２次相互相関を計算することと、前記１次相互相関及び２次相互相関に基づいて前記映像シーケンスに含まれる前記フレームの各々に関するピクチャタイプを決定すること、とを備える、方法。
請求項2
前記フレームの各々に関するピクチャタイプを決定することは、前記映像シーケンスに含まれる前記フレームの各々はイントラピクチャ、予測ピクチャ、又は双方向予測ピクチャのいずれのピクチャとして符号化すべきかを決定することを備える請求項１に記載の方法。
請求項3
前記フレームの各々に関するピクチャタイプを決定することは、前記１次相互相関の出力に含まれる特徴を映像効果フィンガープリントとして識別することによって前記映像シーケンスに含まれる前記フレーム間における映像遷移効果を検出することと、前記１次相互相関及び前記２次相互相関の比較解析に基づいて前記映像シーケンスに含まれる前記フレーム間における時間的類似性を決定すること、とを備える請求項１に記載の方法。
請求項4
映像遷移効果を検出することは、前記１次相互相関に基づいて１つ以上のコンパクトサポート映像遷移効果を検出することを備え、前記コンパクトサポート映像遷移効果は、カットシーンの変化の映像効果と、部分的なシーンの変化の映像効果と、フラッシュフレームの映像効果と、を含み、前記１つ以上のコンパクトサポート映像遷移効果を検出することは、前記１次相互相関の出力を、コンパクトサポート映像効果フィンガープリントに実質的に類似する前記出力内の複数の特徴を検出する前記コンパクトサポート映像遷移効果にマッチングされたフィルタに加えることと、前記マッチングされたフィルタの出力を、前記検出された特徴のうちのいずれがコンパクトサポート映像効果フィンガープリントであるかを識別するスレショルド比較器に加えること、とを備える請求項３に記載の方法。
請求項5
映像遷移効果を検出することは、前記１次相互相関に基づいて１つ以上の拡張サポート映像遷移効果を検出することを備え、前記拡張サポート映像遷移効果は、クロスフェード映像効果と、フェードイン映像効果と、フェードアウト映像効果と、ズームイン映像効果と、ズームアウト映像効果と、を含み、前記１つ以上の拡張サポート映像遷移効果を検出することは、前記１次相互相関の出力を、拡張サポート映像効果フィンガープリントに実質的に類似する前記出力内の複数の特徴を検出する多解像度解析器に加えることと、前記多解像度解析器の出力を、前記検出された特徴のうちのいずれが拡張サポート映像効果フィンガープリントであるかを識別する構造化有意ピーク解析器に加えること、とを備える請求項３に記載の方法。
請求項6
映像遷移効果を検出することは、前記１次相互相関に基づいて１つ以上のグローバルな動きの映像遷移効果を検出することを備え、前記グローバルな動きの映像遷移効果は、カメラのパンの映像効果と、カメラのスクロールの映像効果と、を含み、前記１つ以上のグローバルな動きの映像遷移効果を検出することは、前記１次相互相関の出力を、グローバルな動きの映像効果フィンガープリントに実質的に類似する前記出力内の複数の特徴を検出し及び前記特徴の各々に関する水平変位及び垂直変位の推定値を決定する最大値位置フィルタに加えることと、前記最大値位置フィルタの出力を、前記検出された特徴の各々に関する前記水平変位及び垂直変位の推定値を平滑化し及び前記検出された特徴のうちのいずれがグローバルな動きの映像効果フィンガープリントであるかを識別する多チャネル統合モジュールに加えること、とを備える請求項３に記載の方法。
請求項7
フレーム内容、レート−歪み向上特性、及び符号化帯域幅レジーム特性への依存性に基づいて前記映像シーケンスに含まれる前記フレームの各々に関する前記決定されたピクチャタイプの精度を評価することをさらに備える請求項１に記載の方法。
請求項8
前記映像シーケンスを複数のフレームを含むグループオブピクチャ（ＧＯＰ）構造に分割することをさらに備え、前記フレームの各々に関するピクチャタイプを決定することは、前記ＧＯＰ構造内において、解析ウィンドウの中心に候補フレームが位置し及び予め決められた数の隣接フレームを含むようにして前記解析ウィンドウを配置することと、前記解析ウィンドウに含まれるフレームの画像情報間における１次相互相関を計算することと、前記解析ウィンドウに含まれる前記１次相互相関の対間における２次相互相関を計算することと、前記１次相互相関及び２次相互相関に基づいて前記候補フレームに関するピクチャタイプを決定すること、とを備える請求項１に記載の方法。
請求項9
１次相互相関を計算することは、前記映像シーケンスに含まれるフレームの対内の画像情報間における２次元高速フーリエ変換に基づく計算を行うことを備え、２次相互相関を計算することは、１次相互相関の対間における２次元高速フーリエ変換に基づく計算を行うことを備える請求項１に記載の方法。
請求項10
１次相互相関を計算することは、前記映像シーケンスに含まれるフレームの対内のフルフレーム画像間における１次相互相関を計算することを備える請求項１に記載の方法。
請求項11
１次相互相関を計算することは、前記映像シーケンスに含まれるフレームの対内の部分画像の組内の部分画像にパディングして共通の画像サイズにすることと、部分画像の前記組間における１次部分画像相互相関を計算することと、フレームの前記対の各々に関して前記部分画像の少なくとも一部における前記部分画像相互相関の平均を求めること、とを備える請求項１に記載の方法。
請求項12
前記フレームの各々に関するピクチャタイプを決定することは、前記映像シーケンスに含まれる前記フレームの各々を複数のスライスに分割することと、前記１次相互相関及び２次相互相関に基づいて前記映像シーケンスに含まれる前記フレームの各々のフレームの前記個々のスライスに関するピクチャタイプを決定すること、とを備える請求項１１に記載の方法。
請求項13
前記フレームの各々に関するピクチャタイプを決定することは、前記映像シーケンスに含まれる前記フレームの各々に関するベンチマークピクチャタイプを決定することを備え、リアルタイムで決定されたピクチャタイプを前記ベンチマークピクチャタイプと比較してリアルタイムで決定された前記ピクチャタイプの精度を決定することをさらに備える請求項１に記載の方法。
請求項14
前記フレームの各々に関するピクチャタイプを決定することは、前記映像シーケンスに含まれる前記フレームの各々に関してリアルタイムでピクチャタイプを決定することを備える請求項１に記載の方法。
請求項15
リアルタイムでの前記ピクチャタイプの決定を可能にするための複雑さ低減を行うことをさらに備える請求項１４に記載の方法。
請求項16
前記映像シーケンスに含まれる前記フレームの各々に関して決定された前記ピクチャタイプに基づいて前記フレームの各々を符号化することをさらに備える請求項１に記載の方法。
請求項17
デバイスであって、映像シーケンスに含まれるフレームの対内の画像情報間における１次相互相関を計算し、及び前記１次相互相関の対間における２次相互相関を計算する相関器と、前記１次相互相関及び２次相互相関に基づいて前記映像シーケンスに含まれる前記フレームの各々に関するピクチャタイプを決定するピクチャタイプ決定モジュールと、を備える、デバイス。
請求項18
前記ピクチャタイプ決定モジュールは、前記映像シーケンスに含まれる前記フレームの各々はイントラピクチャ、予測ピクチャ、又は双方向予測ピクチャのいずれのピクチャとして符号化すべきかを決定する請求項１７に記載のデバイス。
請求項19
映像効果フィンガープリントとして識別された前記１次相互相関の出力に含まれる特徴に基づいて前記映像シーケンスに含まれる前記フレーム間における映像遷移効果を検出する映像遷移効果検出器と、前記１次相互相関及び前記２次相互相関の比較解析に基づいて前記映像シーケンスに含まれる前記フレーム間における時間的類似性を決定する比較解析器と、を含む相関解析器をさらに備える請求項１７に記載のデバイス。
請求項20
前記映像遷移効果検出器は、前記１次相互相関に基づいて１つ以上のコンパクトサポート映像遷移効果を検出するコンパクトサポートイベント検出器を含み、前記コンパクトサポート映像遷移効果は、カットシーンの変化の映像効果と、部分的なシーンの変化の映像効果と、フラッシュフレームの映像効果と、を含み、前記コンパクトサポートイベント検出器は、コンパクトサポート映像効果フィンガープリントに実質的に類似する前記１次相互相関の出力内の複数の特徴を検出する前記コンパクトサポート映像遷移効果にマッチングされたフィルタと、前記マッチングされたフィルタの出力内の前記検出された特徴のうちのいずれがコンパクトサポート映像効果フィンガープリントであるかを識別するスレショルド比較器と、を備える請求項１９に記載のデバイス。
請求項21
前記映像遷移効果検出器は、前記１次相互相関に基づいて１つ以上の拡張サポート映像遷移効果を検出する拡張サポートイベント検出器を含み、前記拡張サポート映像遷移効果は、クロスフェード映像効果と、フェードイン映像効果と、フェードアウト映像効果と、ズームイン映像効果と、ズームアウト映像効果と、を含み、前記拡張サポートイベント検出器は、拡張サポート映像効果フィンガープリントに実質的に類似する前記１次相互相関の出力内の複数の特徴を検出する多解像度解析器と、前記多解像度解析器の出力内の前記検出された特徴のうちのいずれが拡張サポート映像効果フィンガープリントであるかを識別する構造化有意ピーク解析器と、を備える請求項１９に記載のデバイス。
請求項22
前記映像遷移効果検出器は、前記１次相互相関に基づいて１つ以上のグローバルな動きの映像遷移効果を検出するグローバルな動き検出器を含み、前記グローバルな動きの映像遷移効果は、カメラのパンの映像効果と、カメラのスクロールの映像効果と、を含み、前記グローバルな動き検出器は、グローバルな動きの映像効果フィンガープリントに実質的に類似する前記１次相互相関の出力内の複数の特徴を検出し及び前記特徴の各々に関する水平変位及び垂直変位の推定値を決定する最大値位置フィルタと、前記最大値位置フィルタの出力内の前記検出された特徴の各々に関する前記水平変位及び垂直変位の推定値を平滑化し及び前記検出された特徴のうちのいずれがグローバルな動きの映像効果フィンガープリントであるかを識別する多チャネル統合モジュールと、を備える請求項１９に記載のデバイス。
請求項23
フレーム内容、レート−歪み向上特性、及び符号化帯域幅レジーム特性への依存性に基づいて前記映像シーケンスに含まれる前記フレームの各々に関して前記ピクチャタイプ決定モジュールによって決定された前記ピクチャタイプの精度を評価する評価モジュールをさらに備える請求項１７に記載のデバイス。
請求項24
前記映像シーケンスを複数のフレームを含むグループオブピクチャ（ＧＯＰ）構造に分割するＧＯＰ分割器と、前記ＧＯＰ構造内において、解析ウィンドウの中心に候補フレームが位置し及び予め決められた数の隣接フレームを含むようにして前記解析ウィンドウを配置する解析ウィンドウ配置モジュールと、をさらに備え、前記相関器は、前記解析ウィンドウに含まれるフレームの画像情報間における１次相互相関を計算し、及び前記解析ウィンドウに含まれる前記１次相互相関の対間における２次相互相関を計算し、前記ピクチャタイプ決定モジュールは、前記１次相互相関及び２次相互相関に基づいて前記候補フレームに関するピクチャタイプを決定する請求項１７に記載のデバイス。
請求項25
前記相関器は、前記映像シーケンスに含まれるフレームの対内の画像情報間における２次元高速フーリエ変換に基づく計算を行って前記１次相互相関を生成し、及び１次相互相関の対間における２次元高速フーリエ変換に基づく計算を行って前記２次相互相関を生成する請求項１７に記載のデバイス。
請求項26
前記相関器は、前記映像シーケンスに含まれるフレームの対内のフルフレーム画像間における１次相互相関を計算する請求項１７に記載のデバイス。
請求項27
前記相関器は、前記映像シーケンスに含まれるフレームの対内の部分画像の組内の部分画像にパディングして共通の画像サイズにし、部分画像の前記組間における１次部分画像相互相関を計算し、及びフレームの前記対の各々に関して前記部分画像の少なくとも一部における前記部分画像相互相関の平均を求めて前記１次相互相関を生成する請求項１７に記載のデバイス。
請求項28
前記ピクチャタイプ決定モジュールは、前記映像シーケンスに含まれる前記フレームの各々を複数のスライスに分割し、及び前記１次相互相関及び２次相互相関に基づいて前記映像シーケンスに含まれる前記フレームの各々のフレームの前記個々のスライスに関するピクチャタイプを決定する請求項２７に記載のデバイス。
請求項29
前記ピクチャタイプ決定モジュールは、リアルタイムで決定されたピクチャタイプと比較してリアルタイムで決定された前記ピクチャタイプの精度を決定するために前記映像シーケンスに含まれる前記フレームの各々に関するベンチマークピクチャタイプを決定する請求項１７に記載のデバイス。
請求項30
前記ピクチャタイプ決定モジュールは、前記映像シーケンスに含まれる前記フレームの各々に関してリアルタイムでピクチャタイプを決定する請求項１７に記載のデバイス。
請求項31
前記ピクチャタイプ決定モジュールがリアルタイムでの前記ピクチャタイプの決定を行うことを可能にするための複雑さ低減を行う複雑さ低減モジュールをさらに備える請求項３０に記載のデバイス。
請求項32
前記映像シーケンスに含まれる前記フレームの各々に関して決定された前記ピクチャタイプに基づいて前記フレームの各々を符号化する符号器をさらに備える請求項１７に記載のデバイス。
請求項33
コンピュータプログラム製品であって、映像シーケンスに含まれるフレームの対内の画像情報間における１次相互相関を計算すること、前記１次相互相関の対間における２次相互相関を計算すること、及び前記１次相互相関及び２次相互相関に基づいて前記映像シーケンスに含まれる前記フレームの各々に関するピクチャタイプを決定することをコンピュータに行わせるための命令を備えるコンピュータによって読み取り可能な媒体を備える、コンピュータプログラム製品。
請求項34
前記命令は、前記映像シーケンスに含まれる前記フレームの各々はイントラピクチャ、予測ピクチャ、又は双方向予測ピクチャのいずれのピクチャとして符号化すべきかを決定することを前記コンピュータに行わせる請求項３３に記載のコンピュータによって読み取り可能な媒体を備えるコンピュータプログラム製品。
請求項35
前記命令は、映像効果フィンガープリントとして識別された前記１次相互相関の出力に含まれる特徴に基づいて前記映像シーケンスに含まれる前記フレーム間における映像遷移効果を検出すること、及び前記１次相互相関及び前記２次相互相関の比較解析に基づいて前記映像シーケンスに含まれる前記フレーム間における時間的類似性を決定することを前記コンピュータに行わせる請求項３３に記載のコンピュータによって読み取り可能な媒体を備えるコンピュータプログラム製品。
請求項36
前記命令は、前記１次相互相関に基づいて１つ以上のコンパクトサポート映像遷移効果を検出することを前記コンピュータに行わせ、前記コンパクトサポート映像遷移効果は、カットシーンの変化の映像効果と、部分的なシーンの変化の映像効果と、フラッシュフレームの映像効果と、を含み、１つ以上のコンパクトサポート映像遷移効果を検出することを前記コンピュータに行わせる前記命令は、前記１次相互相関の出力を、コンパクトサポート映像効果フィンガープリントに実質的に類似する前記出力内の複数の特徴を検出する前記コンパクトサポート映像遷移効果にマッチングされたフィルタに加えること、及び前記マッチングされたフィルタの出力を、前記検出された特徴のうちのいずれがコンパクトサポート映像効果フィンガープリントであるかを識別するスレショルド比較器に加えることを前記コンピュータに行わせる請求項３５に記載のコンピュータによって読み取り可能な媒体を備えるコンピュータプログラム製品。
請求項37
前記命令は、前記１次相互相関に基づいて１つ以上の拡張サポート映像遷移効果を検出することを前記コンピュータに行わせ、前記拡張サポート映像遷移効果は、クロスフェード映像効果と、フェードイン映像効果と、フェードアウト映像効果と、ズームイン映像効果と、ズームアウト映像効果と、を含み、前記１つ以上の拡張サポート映像遷移効果を検出することを前記コンピュータに行わせる前記命令は、前記１次相互相関の出力を、拡張サポート映像効果フィンガープリントに実質的に類似する前記出力内の複数の特徴を検出する多解像度解析器に加えること、及び前記多解像度解析器の出力を、前記検出された特徴のうちのいずれが拡張サポート映像効果フィンガープリントであるかを識別する構造化有意ピーク解析器に加えることを前記コンピュータに行わせる請求項３５に記載のコンピュータによって読み取り可能な媒体を備えるコンピュータプログラム製品。
請求項38
前記命令は、前記１次相互相関に基づいて１つ以上のグローバルな動きの映像遷移効果を検出することを前記コンピュータに行わせ、前記グローバルな動きの映像遷移効果は、カメラのパンの映像効果と、カメラのスクロールの映像効果と、を含み、前記１つ以上のグローバルな動きの映像遷移効果を検出することを前記コンピュータに行わせる命令は、前記１次相互相関の出力を、グローバルな動きの映像効果フィンガープリントに実質的に類似する前記出力内の複数の特徴を検出し及び前記特徴の各々に関する水平変位及び垂直変位の推定値を決定する最大値位置フィルタに加えること、及び前記最大値位置フィルタの出力を、前記検出された特徴の各々に関する前記水平変位及び垂直変位の推定値を平滑化し及び前記検出された特徴のうちのいずれがグローバルな動きの映像効果フィンガープリントであるかを識別する多チャネル統合モジュールに加えることを前記コンピュータに行わせる請求項３５に記載のコンピュータによって読み取り可能な媒体を備えるコンピュータプログラム製品。
請求項39
フレーム内容、レート−歪み向上特性、及び符号化帯域幅レジーム特性への依存性に基づいて前記映像シーケンスに含まれる前記フレームの各々に関する前記決定されたピクチャタイプの精度を評価することを前記コンピュータに行わせる命令をさらに備える請求項３３に記載のコンピュータによって読み取り可能な媒体を備えるコンピュータプログラム製品。
請求項40
前記映像シーケンスを複数のフレームを含むグループオブピクチャ（ＧＯＰ）構造に分割すること、前記ＧＯＰ構造内において、候補フレームが解析ウィンドウの中心に位置し及び予め決められた数の隣接フレームを含むようにして前記解析ウィンドウを配置すること、前記解析ウィンドウに含まれるフレームの画像情報間における１次相互相関を計算すること、前記解析ウィンドウに含まれる前記１次相互相関の対間における２次相互相関を計算すること、及び前記１次相互相関及び２次相互相関に基づいて前記候補フレームに関するピクチャタイプを決定することを前記コンピュータに行わせる命令をさらに備える請求項３３に記載のコンピュータによって読み取り可能な媒体を備えるコンピュータプログラム製品。
請求項41
前記命令は、前記映像シーケンスに含まれるフレームの対内の画像情報間における２次元高速フーリエ変換に基づく計算を行って前記１次相互相関を生成すること、及び１次相互相関の対間における２次元高速フーリエ変換に基づく計算を行って前記２次相互相関を生成することを前記コンピュータに行わせる請求項３３に記載のコンピュータによって読み取り可能な媒体を備えるコンピュータプログラム製品。
請求項42
前記命令は、前記映像シーケンスに含まれるフレームの対内のフルフレーム画像間における１次相互相関を計算することを前記コンピュータに行わせる請求項３３に記載のコンピュータによって読み取り可能な媒体を備えるコンピュータプログラム製品。
請求項43
前記命令は、前記映像シーケンスに含まれるフレームの対内の部分画像の前記組内の部分画像にパディングして共通の画像サイズにすること、部分画像の前記組間における１次部分画像相互相関を計算すること、及びフレームの前記対の各々に関する前記部分画像の少なくとも一部における前記部分画像相互相関の平均を求めて前記１次相互相関を生成することを前記コンピュータに行わせる請求項３３に記載のコンピュータによって読み取り可能な媒体を備えるコンピュータプログラム製品。
請求項44
前記命令は、前記映像シーケンスに含まれる前記フレームの各々を複数のスライスに分割すること、及び前記１次相互相関及び２次相互相関に基づいて前記映像シーケンスに含まれる前記フレームの各々のフレームの前記個々のスライスに関するピクチャタイプを決定することを前記コンピュータに行わせる請求項４３に記載のコンピュータによって読み取り可能な媒体を備えるコンピュータプログラム製品。
請求項45
前記命令は、前記映像シーケンスに含まれる前記フレームの各々に関するベンチマークピクチャタイプを決定すること、及びリアルタイムで決定されたピクチャタイプを前記ベンチマークピクチャタイプと比較してリアルタイムで決定された前記ピクチャタイプの精度を決定することを前記コンピュータに行わせる請求項３３に記載のコンピュータによって読み取り可能な媒体を備えるコンピュータプログラム製品。
請求項46
前記命令は、前記映像シーケンスに含まれる前記フレームの各々に関してリアルタイムでピクチャタイプを決定することを前記コンピュータに行わせる請求項３３に記載のコンピュータによって読み取り可能な媒体を備えるコンピュータプログラム製品。
請求項47
前記命令は、リアルタイムでの前記ピクチャタイプの決定を可能にするための複雑さ低減を前記コンピュータに行わせる請求項４６に記載のコンピュータによって読み取り可能な媒体を備えるコンピュータプログラム製品。
請求項48
前記映像シーケンスに含まれる前記フレームの各々に関して決定された前記ピクチャタイプに基づいて前記フレームの各々を符号化することを前記コンピュータに行わせる命令をさらに備える請求項３３に記載のコンピュータによって読み取り可能な媒体を備えるコンピュータプログラム製品。
請求項49
デバイスであって、映像シーケンスに含まれるフレームの対内の画像情報間における１次相互相関及び前記１次相互相関の対間における２次相互相関を計算するための手段と、前記１次相互相関及び２次相互相関に基づいて前記映像シーケンスに含まれる前記フレームの各々に関するピクチャタイプを決定するための手段と、を備える、デバイス。
請求項50
ピクチャタイプを決定するための前記手段は、前記映像シーケンスに含まれる前記フレームの各々はイントラピクチャ、予測ピクチャ、又は双方向予測ピクチャのいずれのピクチャとして符号化すべきかを決定する請求項４９に記載のデバイス。
請求項51
映像効果フィンガープリントとして識別された前記１次相互相関の出力に含まれる特徴に基づいて前記映像シーケンスに含まれる前記フレーム間における映像遷移効果を検出するための手段と、前記１次相互相関及び前記２次相互相関の比較解析に基づいて前記映像シーケンスに含まれる前記フレーム間における時間的類似性を決定するための手段と、さらに備える請求項４９に記載のデバイス。
請求項52
映像遷移効果を検出するための前記手段は、前記１次相互相関に基づいて１つ以上のコンパクトサポート映像遷移効果を検出するための手段を含み、前記コンパクトサポート映像遷移効果は、カットシーンの変化の映像効果と、部分的なシーンの変換の映像効果と、フラッシュフレームの映像効果と、を含み、１つ以上のコンパクトサポート映像遷移効果を検出するための前記手段は、コンパクトサポート映像効果フィンガープリントに実質的に類似する前記１次相互相関の出力内の複数の特徴を検出する前記コンパクトサポート映像遷移効果にマッチングされたフィルタと、前記マッチングされたフィルタの出力内の前記検出された特徴のうちのいずれがコンパクトサポート映像効果フィンガープリントであるかを識別するスレショルド比較器と、を備える請求項５１に記載のデバイス。
請求項53
映像遷移効果を検出するための前記手段は、前記１次相互相関に基づいて１つ以上の拡張サポート映像遷移効果を検出するための手段を含み、拡張サポート映像遷移効果は、クロスフェード映像効果と、フェードイン映像効果と、フェードアウト映像効果と、ズームイン映像効果と、ズームアウト映像効果と、を含み、１つ以上の拡張サポート映像遷移効果を検出するための前記手段は、拡張サポート映像効果フィンガープリントに実質的に類似する前記１次相互相関の出力内の複数の特徴を検出する多解像度解析器と、前記多解像度解析器の出力内の前記検出された特徴のうちのいずれが拡張サポート映像効果フィンガープリントであるかを識別する構造化有意ピーク解析器と、を備える請求項５１に記載のデバイス。
請求項54
映像遷移効果を検出するための前記手段は、前記１次相互相関に基づいて１つ以上のグローバルな動きの映像遷移効果を検出するための手段を含み、グローバルな動きの映像遷移効果は、カメラのパンの映像効果と、カメラのスクロールの映像効果と、を含み、前記１つ以上のグローバルな動きの映像遷移効果を検出するための前記手段は、グローバルな動きの映像効果フィンガープリントに実質的に類似する前記１次相互相関の出力内の複数の特徴を検出し及び前記特徴の各々に関する水平変位及び垂直変位の推定値を決定する最大値位置フィルタと、前記最大値位置フィルタの出力内の前記検出された特徴の各々に関する前記水平変位及び垂直変位の推定値を平滑化し及び前記検出された特徴のうちのいずれがグローバルな動きの映像効果フィンガープリントであるかを識別する多チャネル統合モジュールと、を備える請求項５１に記載のデバイス。
請求項55
フレーム内容、レート−歪み向上特性、及び符号化帯域幅レジーム特性への依存性に基づいて前記映像シーケンスに含まれる前記フレームの各々に関する前記決定されたピクチャタイプの精度を評価するための手段をさらに備える請求項４９に記載のデバイス。
請求項56
前記映像シーケンスを複数のフレームを含むＧＯＰ構造に分割するための手段と、前記ＧＯＰ構造内において、候補フレームが解析ウィンドウの中心に位置し及び予め決められた数の隣接フレームを含むようにして前記解析ウィンドウを配置するための手段をさらに備え、計算するための前記手段は、前記解析ウィンドウに含まれるフレームの画像情報間における１次相互相関を計算し及び前記解析ウィンドウに含まれる前記１次相互相関の対間における２次相互相関を計算し、ピクチャタイプを決定するための前記手段は、前記１次相互相関及び２次相互相関に基づいて前記候補フレームに関するピクチャタイプを決定する請求項４９に記載のデバイス。
請求項57
計算するための前記手段は、前記映像シーケンスに含まれるフレームの対内の画像情報間における２次元高速フーリエ変換に基づく計算を行って前記１次相互相関を生成し、及び１次相互相関の対間における２次元高速フーリエ変換に基づく計算を行って前記２次相互相関を生成する請求項４９に記載のデバイス。
請求項58
計算するための前記手段は、前記映像シーケンスに含まれるフレームの対内のフルフレーム画像間における１次相互相関を計算する請求項４９に記載のデバイス。
請求項59
計算するための前記手段は、前記映像シーケンスに含まれるフレームの対内の部分画像の組内の部分画像にパディングして共通の画像サイズにし、部分画像の前記組間における１次部分画像相互相関を計算し、及びフレームの前記対の各々に関して前記部分画像の少なくとも一部における前記部分画像相互相関の平均を求めて前記１次相互相関を生成する請求項４９に記載のデバイス。
請求項60
ピクチャタイプを決定するための前記手段は、前記映像シーケンスに含まれる前記フレームの各々を複数のスライスに分割し、及び前記１次相互相関及び２次相互相関に基づいて前記映像シーケンスに含まれる前記フレームの各々のフレームの前記個々のスライスに関するピクチャタイプを決定する請求項５９に記載のデバイス。
請求項61
ピクチャタイプを決定するための前記手段は、リアルタイムで決定されたピクチャタイプと比較してリアルタイムで決定された前記ピクチャタイプの精度を決定するために前記映像シーケンスに含まれる前記フレームの各々に関するベンチマークピクチャタイプを決定する請求項４９に記載のデバイス。
請求項62
ピクチャタイプを決定するための前記手段は、前記映像シーケンスに含まれる前記フレームの各々に関してリアルタイムでピクチャタイプを決定する請求項４９に記載のデバイス。
請求項63
前記ピクチャタイプ決定モジュールがリアルタイムでの前記ピクチャタイプの決定を行うことを可能にするための複雑さ低減を行うための手段をさらに備える請求項６２に記載のデバイス。
請求項64
前記映像シーケンスに含まれる前記フレームの各々に関して決定された前記ピクチャタイプに基づいて前記フレームの各々を符号化するための手段をさらに備える請求項４９に記載のデバイス。
請求項65
無線通信デバイスハンドセットであって、映像シーケンスに含まれるフレームの対内の画像情報間における１次相互相関を計算し、及び前記１次相互相関の対間における２次相互相関を計算する相関器と、前記１次相互相関及び２次相互相関に基づいて前記映像シーケンスに含まれる前記フレームの各々に関するピクチャタイプを決定するピクチャタイプ決定モジュールと、を備える、無線通信デバイスハンドセット。
請求項66
前記ピクチャタイプ決定モジュールは、前記映像シーケンスに含まれる前記フレームの各々はイントラピクチャ、予測ピクチャ、又は双方向予測ピクチャのいずれのピクチャとして符号化すべきかを決定する請求項６５に記載のハンドセット。
請求項67
映像効果フィンガープリントとして識別された前記１次相互相関の出力に含まれる特徴に基づいて前記映像シーケンスに含まれる前記フレーム間における映像遷移効果を検出する映像遷移効果検出器と、前記１次相互相関及び前記２次相互相関の比較解析に基づいて前記映像シーケンスに含まれる前記フレーム間における時間的類似性を決定する比較解析器と、さらに備える請求項６５に記載のハンドセット。
請求項68
前記映像遷移効果検出器は、前記１次相互相関に基づいて１つ以上のコンパクトサポート映像遷移効果を検出するコンパクトサポートイベント検出器を含み、前記コンパクトサポート映像遷移効果は、カットシーンの変化の映像効果と、部分的なシーンの変化の映像効果と、フラッシュフレームの映像効果と、を含み、前記コンパクトサポートイベント検出器は、コンパクトサポート映像効果フィンガープリントに実質的に類似する前記１次相互相関の出力内の複数の特徴を検出する前記コンパクトサポート映像遷移効果にマッチングされたフィルタと、前記マッチングされたフィルタの出力内の前記検出された特徴のうちのいずれがコンパクトサポート映像効果フィンガープリントであるかを識別するスレショルド比較器と、を備える請求項６７に記載のハンドセット。
請求項69
前記映像遷移効果検出器は、前記１次相互相関に基づいて１つ以上の拡張サポート映像遷移効果を検出する拡張サポートイベント検出器を含み、前記拡張サポート映像遷移効果は、クロスフェード映像効果と、フェードイン映像効果と、フェードアウト映像効果と、ズームイン映像効果と、ズームアウト映像効果と、を含み、前記拡張サポートイベント検出器は、拡張サポート映像効果フィンガープリントに実質的に類似する前記１次相互相関の出力内の複数の特徴を検出する多解像度解析器と、前記多解像度解析器の出力内の前記検出された特徴のうちのいずれが拡張サポート映像効果フィンガープリントであるかを識別する構造化有意ピーク解析器と、を備える請求項６７に記載のハンドセット。
請求項70
前記映像遷移効果検出器は、前記１次相互相関に基づいて１つ以上のグローバルな動きの映像遷移効果を検出するグローバルな動き検出器を含み、前記グローバルな動きの映像遷移効果は、カメラのパンの映像効果と、カメラのスクロールの映像効果と、を含み、前記グローバルな動き検出器は、グローバルな動きの映像効果フィンガープリントに実質的に類似する前記１次相互相関の出力内の複数の特徴を検出し及び前記特徴の各々に関する水平変位及び垂直変位の推定値を決定する最大値位置フィルタと、前記最大値位置フィルタの出力内の前記検出された特徴の各々に関する前記水平変位及び垂直変位の推定値を平滑化し及び前記検出された特徴のうちのいずれがグローバルな動きの映像効果フィンガープリントであるかを識別する多チャネル統合モジュールと、を備える請求項６７に記載のハンドセット。
請求項71
フレーム内容、レート−歪み向上特性、及び符号化帯域幅レジーム特性への依存性に基づいて前記映像シーケンスに含まれる前記フレームの各々に関して前記ピクチャタイプ決定モジュールによって決定された前記ピクチャタイプの精度を評価する評価モジュールをさらに備える請求項６５に記載のハンドセット。
請求項72
前記映像シーケンスを複数のフレームを含むグループオブピクチャ（ＧＯＰ）構造に分割するＧＯＰ分割器と、前記ＧＯＰ構造内において候補フレームが解析ウィンドウの中心に位置し及び予め決められた数の隣接フレームを含むようにして前記解析ウィンドウを配置する解析ウィンドウ配置モジュールと、をさらに備え、前記相関器は、前記解析ウィンドウに含まれるフレームの画像情報間における１次相互相関を計算し及び前記解析ウィンドウに含まれる前記１次相互相関の対間における２次相互相関を計算し、前記ピクチャタイプ決定モジュールは、前記１次相互相関及び２次相互相関に基づいて前記候補フレームに関するピクチャタイプを決定する請求項６５に記載のハンドセット。
請求項73
前記相関器は、前記映像シーケンスに含まれるフレームの対内の画像情報間における２次元高速フーリエ変換に基づく計算を行って前記１次相互相関を生成し、及び１次相互相関の対間における２次元高速フーリエ変換に基づく計算を行って前記２次相互相関を生成する請求項６５に記載のハンドセット。
請求項74
前記相関器は、前記映像シーケンスに含まれるフレームの対内のフルフレーム画像間における１次相互相関を計算する請求項６５に記載のハンドセット。
請求項75
前記相関器は、前記映像シーケンスに含まれるフレームの対内の部分画像の組内の部分画像にパディングして共通の画像サイズにし、部分画像の前記組間における１次部分画像相互相関を計算し、及びフレームの前記対の各々に関して前記部分画像の少なくとも一部における前記部分画像相互相関の平均を求めて前記１次相互相関を生成する請求項６５に記載のハンドセット。
請求項76
前記ピクチャタイプ決定モジュールは、前記映像シーケンスに含まれる前記フレームの各々を複数のスライスに分割し、及び前記１次相互相関及び２次相互相関に基づいて前記映像シーケンスに含まれる前記フレームの各々のフレームの前記個々のスライスに関するピクチャタイプを決定する請求項７５に記載のハンドセット。
請求項77
前記ピクチャタイプ決定モジュールは、前記映像シーケンスに含まれる前記フレームの各々に関してリアルタイムでピクチャタイプを決定する請求項６５に記載のハンドセット。
請求項78
前記ピクチャタイプ決定モジュールがリアルタイムでの前記ピクチャタイプの決定を行うことを可能にするための複雑さ低減を行う複雑さ低減モジュールをさらに備える請求項７７に記載のハンドセット。
請求項79
前記映像シーケンスに含まれる前記フレームの各々に関して決定された前記ピクチャタイプに基づいて前記フレームの各々を符号化する符号器をさらに備える請求項６５に記載のハンドセット。
請求項80
デジタル画像データを処理するための集積回路デバイスであって、映像シーケンスに含まれるフレームの対内の画像情報間における１次相互相関を計算し、前記１次相互相関の対間における２次相互相関を計算し、及び前記１次相互相関及び２次相互相関に基づいて前記映像シーケンスに含まれる前記フレームの各々に関するピクチャタイプを決定するように構成される１つ以上のプロセッサを備える、デジタル画像データを処理するための集積回路デバイス。
請求項81
前記少なくとも１つのプロセッサは、前記映像シーケンスに含まれる前記フレームの各々はイントラピクチャ、予測ピクチャ、又は双方向予測ピクチャのいずれのピクチャとして符号化すべきかを決定するように構成される請求項８０に記載の集積回路デバイス。
請求項82
前記少なくとも１つのプロセッサは、映像効果フィンガープリントとして識別された前記１次相互相関の出力に含まれる特徴に基づいて前記映像シーケンスに含まれる前記フレーム間における映像遷移効果を検出し、及び前記１次相互相関及び前記２次相互相関の比較解析に基づいて前記映像シーケンスに含まれる前記フレーム間における時間的類似性を決定するように構成される請求項８０に記載の集積回路デバイス。
請求項83
前記少なくとも１つのプロセッサは、前記１次相互相関に基づいて１つ以上のコンパクトサポート映像遷移効果を検出するように構成され、前記コンパクトサポート映像遷移効果は、カットシーンの変化の映像効果と、部分的なシーンの変化の映像効果と、フラッシュフレームの映像効果と、を含み、前記少なくとも１つのプロセッサは、前記１次相互相関の出力を、コンパクトサポート映像効果フィンガープリントに実質的に類似する前記出力内の複数の特徴を検出する前記コンパクトサポート映像遷移効果にマッチングされたフィルタに加え、及び前記マッチングされたフィルタの出力を、前記検出された特徴のうちのいずれがコンパクトサポート映像効果フィンガープリントであるかを識別するスレショルド比較器に加えるように構成される請求項８２に記載の集積回路デバイス。
請求項84
前記少なくとも１つのプロセッサは、前記１次相互相関に基づいて１つ以上の拡張サポート映像遷移効果を検出するように構成され、前記拡張サポート映像遷移効果は、クロスフェード映像効果と、フェードイン映像効果と、フェードアウト映像効果と、ズームイン映像効果と、ズームアウト映像効果と、を含み、前記少なくとも１つのプロセッサは、前記１次相互相関の出力を、拡張サポート映像効果フィンガープリントに実質的に類似する前記出力内の複数の特徴を検出する多解像度解析器に加え、及び前記多解像度解析器の出力を、前記検出された特徴のうちのいずれが拡張サポート映像効果フィンガープリントであるかを識別する構造化有意ピーク解析器に加えるように構成される請求項８２に記載の集積回路デバイス。
請求項85
前記少なくとも１つのプロセッサは、前記１次相互相関に基づいて１つ以上のグローバルな動きの映像遷移効果を検出するように構成され、前記グローバルな動きの映像遷移効果は、カメラのパンの映像効果と、カメラのスクロールの映像効果と、を含み、前記少なくとも１つのプロセッサは、前記１次相互相関の出力を、グローバルな動きの映像効果フィンガープリントに実質的に類似する前記出力内の複数の特徴を検出し及び前記特徴の各々に関する水平変位及び垂直変位の推定値を決定する最大値位置フィルタに加え、及び前記最大値位置フィルタの出力を、前記検出された特徴の各々に関する前記水平変位及び垂直変位の推定値を平滑化し及び前記検出された特徴のうちのいずれがグローバルな動きの映像効果フィンガープリントであるかを識別する多チャネル統合モジュールに加えるように構成される請求項８２に記載の集積回路デバイス。
請求項86
前記少なくとも１つのプロセッサは、フレーム内容、レート−歪み向上特性、及び符号化帯域幅レジーム特性への依存性に基づいて前記映像シーケンスに含まれる前記フレームの各々に関する前記決定されたピクチャタイプの精度を評価するように構成される請求項８０に記載の集積回路デバイス。
請求項87
前記少なくとも１つのプロセッサは、前記映像シーケンスを複数のフレームを含むグループオブピクチャ（ＧＯＰ）構造に分割し、前記ＧＯＰ構造内において、候補フレームが解析ウィンドウの中心に位置し及び予め決められた数の隣接フレームを含むようにして前記解析ウィンドウを配置し、前記解析ウィンドウに含まれるフレームの画像情報間における１次相互相関を計算し、前記解析ウィンドウに含まれる前記１次相互相関の対間における２次相互相関を計算し、及び前記１次相互相関及び２次相互相関に基づいて前記候補フレームに関するピクチャタイプを決定するように構成される請求項８０に記載の集積回路デバイス。
請求項88
前記少なくとも１つのプロセッサは、前記映像シーケンスに含まれる前記フレームの対内の画像情報間における２次元高速フーリエ変換に基づく計算を行って前記１次相互相関を生成し、及び１次相互相関の対間における２次元高速フーリエ変換に基づく計算を行って前記２次相互相関を生成するように構成される請求項８０に記載の集積回路デバイス。
請求項89
前記少なくとも１つのプロセッサは、前記映像シーケンスに含まれるフレームの対内のフルフレーム画像間における１次相互相関を計算するように構成される請求項８０に記載の集積回路デバイス。
請求項90
前記少なくとも１つのプロセッサは、前記映像シーケンスに含まれるフレームの対内における部分画像の前記組内の部分画像にパディングして共通の画像サイズにし、部分画像の前記組間における１次部分画像相互相関を計算し、及びフレームの前記対の各々に関して前記部分画像の少なくとも一部における前記部分画像相互相関の平均を求めて前記１次相互相関を生成するように構成される請求項８０に記載の集積回路デバイス。
請求項91
前記少なくとも１つのプロセッサは、前記映像シーケンスに含まれる前記フレームの各々を複数のスライスに分割し、及び前記１次相互相関及び２次相互相関に基づいて前記映像シーケンスに含まれる前記フレームの各々のフレームの前記個々のスライスに関するピクチャタイプを決定するように構成される請求項９０に記載の集積回路デバイス。
請求項92
前記少なくとも１つのプロセッサは、前記映像シーケンスに含まれる前記フレームの各々に関するベンチマークピクチャタイプを決定し、及びリアルタイムで決定されたピクチャタイプを前記ベンチマークピクチャタイプと比較してリアルタイムで決定された前記ピクチャタイプの精度を決定するように構成される請求項８０に記載の集積回路デバイス。
請求項93
前記少なくとも１つのプロセッサは、前記映像シーケンスに含まれる前記フレームの各々に関してリアルタイムでピクチャタイプを決定するように構成される請求項８０に記載の集積回路デバイス。
請求項94
前記少なくとも１つのプロセッサは、リアルタイムでの前記ピクチャタイプの決定を可能にするための複雑さ低減を行うように構成される請求項９３に記載の集積回路デバイス。
請求項95
前記少なくとも１つのプロセッサは、前記映像シーケンスに含まれる前記フレームの各々に関して決定された前記ピクチャタイプに基づいて前記フレームの各々を符号化するように構成される請求項８０に記載の集積回路デバイス。
請求項96
システムであって、映像データを複数のフレームを含むグローバルオブピクチャ（ＧＯＰ）構造に分割するＧＯＰ分割器と、前記ＧＯＰ構造に含まれる前記フレームに関するピクチャタイプをリアルタイムで決定する適応型グループオブピクチャ（ＡＧＯＰ）構造決定モジュールと、を含むコーディングデバイスと、フレームの対内の画像情報間における１次相互相関及び１次相互相関の対間における２次相互相関に基づいて前記ＧＯＰ構造に含まれる前記フレームに関するベンチマークピクチャタイプを決定する前記コーディングデバイスの外部に配置された相関に基づくＡＧＯＰ構造決定モジュールと、前記ピクチャタイプを前記ベンチマークピクチャタイプと比較して前記コーディングデバイスに組み入れられた前記ＡＧＯＰ構造決定モジュールの精度を決定するベンチマーク比較器と、を備える、システム。
請求項97
前記コーディングデバイスは、トランスコーダ又は符号器のうちの１つを備える請求項９６に記載のシステム。
請求項98
コーディングデバイスであって、映像データを複数のフレームを含むグループオブピクチャ（ＧＯＰ）構造に分割するＧＯＰ分割器と、フレームの対内の画像情報間における１次相互相関及び１次相互相関の対間における２次相互相関に基づいて前記ＧＯＰ構造に含まれる前記フレームに関するピクチャタイプをリアルタイムで決定する相関に基づく適応型グループオブピクチャ（ＡＧＯＰ）構造決定モジュールと、を備える、コーディングデバイス。
請求項99
前記ＧＯＰ構造に含まれる前記フレーム内の画像情報の解像度を低下させ及び前記相関に基づくＡＧＯＰ構造決定モジュールによって計算される１次相互相関の数を制限する複雑さ低減モジュールをさらに備える請求項９８に記載のコーディングデバイス。
請求項100
前記デバイスは、トランスコーダ又は符号器のうちの１つを備える請求項９８に記載のコーディングデバイス。